[논문 리뷰] Decentralized Multi-Task Learning Based on Extreme Learning Machines

Yu Ye, Ming Xiao외 1명|arXiv (Cornell University)|2019. 04. 25.

Machine Learning and ELM참고 문헌 37인용 수 10

한 줄 요약

이 논문은 극단적 학습 기계(ELM) 기반의 탈중앙화 다중 작업 학습 프레임워크를 제안하며, 분산 노드 간 공유 특징 가중치와 작업별 특화 출력 가중치를 동시에 최적화하기 위해 하이브리드 자코비안 및 가우스-자이델 ADMM 알고리즘(DMTL-ELM)을 사용한다. 이 방법은 일阶 근사 변형(FO-DMTL-ELM)을 통해 통신 오버헤드를 감소시키면서도 경쟁 가능한 일반화 성능을 달성하여 지리적으로 분산된 환경에서 정확도와 통신 비용 간 조정 가능한 트레이드오프를 보여준다.

ABSTRACT

In multi-task learning (MTL), related tasks learn jointly to improve generalization performance. To exploit the high learning speed of extreme learning machines (ELMs), we apply the ELM framework to the MTL problem, where the output weights of ELMs for all the tasks are learned collaboratively. We first present the ELM based MTL problem in the centralized setting, which is solved by the proposed MTL-ELM algorithm. Due to the fact that many data sets of different tasks are geo-distributed, decentralized machine learning is studied. We formulate the decentralized MTL problem based on ELM as majorized multi-block optimization with coupled bi-convex objective functions. To solve the problem, we propose the DMTL-ELM algorithm, which is a hybrid Jacobian and Gauss-Seidel Proximal multi-block alternating direction method of multipliers (ADMM). Further, to reduce the computation load of DMTL-ELM, DMTL-ELM with first-order approximation (FO-DMTL-ELM) is presented. Theoretical analysis shows that the convergence to the stationary point of DMTL-ELM and FO-DMTL-ELM can be guaranteed conditionally. Through simulations, we demonstrate the convergence of proposed MTL-ELM, DMTL-ELM, and FO-DMTL-ELM algorithms, and also show that they can outperform existing MTL methods. Moreover, by adjusting the dimension of hidden feature space, there exists a trade-off between communication load and learning accuracy for DMTL-ELM.

연구 동기 및 목표

• 중앙 집중식 데이터 수집이 불가능한 지리적으로 분산된 데이터 환경에서 다중 작업 모델을 효율적으로 훈련시키는 데 도전하는 것.
• 관련된 작업들 간의 일반화 성능을 향상시키기 위해 다중 작업 환경에서 극단적 학습 기계(ELM)의 고속 학습 능력을 활용하는 것.
• 중앙 집중적 조율 없이도 공유 특징과 작업별 특화 가중치를 공동으로 학습할 수 있도록 탈중앙화 최적화 알고리즘을 설계하는 것.
• 높은 모델 정확도를 유지하면서도 분산 다중 작업 학습에서 계산 및 통신 오버헤드를 줄이는 것.
• 특정 조건 하에서 제안된 탈중앙화 알고리즘에 대한 이론적 수렴 보증을 확립하는 것.

제안 방법

• 탈중앙화 학습을 위해 결합된 이중볼록 목표 함수를 가진 다중 블록 최적화 문제로 다중 작업 ELM 문제를 수식화한다.
• 자코비안 및 가우스-자이델 업데이트를 융합한 하이브리드 ADMM 알고리즘인 DMTL-ELM을 제안하여 탈중앙화 최적화 문제를 해결한다.
• 각 반복에서의 계산 복잡도를 감소시키기 위해 DMTL-ELM의 일阶 근사 변형인 FO-DMTL-ELM을 도입한다.
• 각 노드에서 공유 은닉 특징 행렬 U와 작업별 특화 출력 가중치 벡터를 사용하며, ADMM 이중 변수를 통해 일致성 조건을 강제한다.
• 비구형성과 수렴 보장의 필요성을 고려해 비스듬한 항을 포함한 교차 최적화를 수행한다.
• 원래의 비구형 목표 함수를 안정적이고 효율적인 반복 업데이트 가능하도록 근사하기 위해 주요화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 ELM 기반의 탈중앙화 다중 작업 학습 프레임워크는 기존의 중심화 및 분산 MTL 방법보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ2 제안된 DMTL-ELM 알고리즘의 통신 부하가 반복 횟수와 은닉층 크기와 어떻게 상관관계를 가지는가?
• RQ3 탈중앙화 ELM 기반 MTL 프레임워크에서 통신 비용과 학습 정확도 사이의 트레이드오프는 어떠한가?
• RQ4 FO-DMTL-ELM에서의 일阶 근사는 계산 부하를 감소시키면서도 수렴성과 일반화 성능을 유지하는가?
• RQ5 제안된 DMTL-ELM 및 FO-DMTL-ELM 알고리즘이 어떤 조건에서 정류점에 수렴하는가?

주요 결과

• 제안된 MTL-ELM, DMTL-ELM, FO-DMTL-ELM 알고리즘은 지정된 조건 하에서 모두 정류점으로 수렴하며, 이론적 수렴 보장을 확보한다.
• DMTL-ELM는 중심화된 MTL-ELM 기준선과 유사한 테스트 오차를 달성하여 효과적인 탈중앙화 협업을 입증한다.
• FO-DMTL-ELM는 MTL-ELM 및 DMTL-ELM보다 실행 시간을 크게 단축시키면서도 경쟁 가능한 일반화 성능을 유지한다.
• 고정된 반복 수(k=25) 조건에서 DMTL-ELM의 성능은 수렴이 부족하여 DNSP보다 열 劣하지만, k가 증가하고 L이 커질수록 성능 향상이 이루어진다.
• k=50 및 L=300 조건에서 DMTL-ELM는 더 높은 통신 부하에도 불구하고 DNSP보다 더 나은 일반화 성능을 달성하여 정확도와 통신 비용 간 트레이드오프를 확인한다.
• DMTL-ELM의 통신 부하는 k×L 비례하며, 성능와 시스템 오버헤드를 균형 잡기 위해 L과 k를 조정함으로써 감소시킬 수 있다.