[논문 리뷰] Distributed Multi-Task Learning with Shared Representation

Jialei Wang, Mladen Kolar외 1명|arXiv (Cornell University)|2016. 03. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 16

한 줄 요약

이 논문은 공유되는 저랭크 표현을 활용하여 통신 비용을 줄이는 분산 다중작업 학습 방법을 제안한다. DGSP 및 DNSP와 같은 새로운 알고리즘을 통해 통신 라운드 수를 감소시키면서도 중심화된 핵노름 정규화 성능에 근접한 성능을 유지한다. 주요 기여는 통신 비용을 크게 절감함으로써 일반화 성능을 훼손하지 않으면서도, 상관관계가 있는 특성 설정에서 일계수 방법 및 한 번에 SVD를 수행하는 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We study the problem of distributed multi-task learning with shared representation, where each machine aims to learn a separate, but related, task in an unknown shared low-dimensional subspaces, i.e. when the predictor matrix has low rank. We consider a setting where each task is handled by a different machine, with samples for the task available locally on the machine, and study communication-efficient methods for exploiting the shared structure.

연구 동기 및 목표

• 각 머신이 다른 작업에 대한 데이터를 보유하고 있으며, 통신 비용이 높은 분산 다중작업 학습 문제를 해결하기 위해.
• 작업 간 공유되는 저차원 부분공간을 활용하여 단일작업 학습을 초월한 일반화 성능 향상을 위해.
• 예측자 행렬의 저랭크 구조를 활용하는 통신 효율적인 최적화 방법을 설계하기 위해.
• 그리디 부분공간 학습 및 두 번째 차수 정보를 활용하여 통신 횟수를 줄이는 새로운 알고리즘인 DGSP 및 DNSP를 개발하고 분석하기 위해.
• 선형 회귀 및 분류 작업에서 제안된 방법을 실증적으로 평가하여 기준 모델 및 한 번에 SVD를 수행하는 방법과 비교하기 위해.

제안 방법

• 각 머신이 작업별 예측자를 학습하고, 모든 예측자가 공유되는 저랭크 부분공간에 위치하도록 제약하는 분산 다중작업 학습 프레임워크를 제안한다.
• 예측자 행렬의 저랭크 구조를 유도하기 위해 핵노름 정규화를 사용하여 공동으로 공유되는 특징을 학습한다.
• 공유 부분공간을 반복적으로 학습하기 위해 DGSP(Distributed Greedy Subspace Pursuit) 및 DNSP(Distributed Non-convex Subspace Pursuit)를 도입한다. 이들은 한 번에 또는 그릿적으로 업데이트한다.
• 워커가 로컬 ERM 또는 기울기 계산을 수행하고, 마스터에게는 오직 저차원 표현만을 통신하는 마스터-워커 아키텍처를 사용한다.
• 통신 라운드 동안 저랭크 구조를 효율적으로 유지하기 위해 SVD 절단 및 주요 특이벡터 계산을 적용한다.
• 비교를 위해 ADMM, ProxGD, AccProxGD 및 DFW를 기준 모델로 사용하며, 통신 및 계산 복잡도를 분석한다.

실험 결과

연구 질문

• RQ1 통신 효율적인 분산 알고리즘이 공유 저랭크 표현을 가진 중심화된 다중작업 학습 성능과 유사한 성능을 달성할 수 있는가?
• RQ2 DNSP와 같이 두 번째 차수 정보를 사용할 경우, 일계수 방법 대비 통신 효율성에 어떤 영향을 미치는가?
• RQ3 로컬 모델의 한 번에 SVD 절단이 분산 다중작업 학습에서 반복적 통신의 타당한 대안이 될 수 있는가?
• RQ4 제안된 DGSP 및 DNSP 알고리즘이 ADMM 및 ProxGD와 같은 표준 최적화 방법에 비해 수렴성과 통신 비용 측면에서 어떻게 비교되는가?
• RQ5 특성 간 상관관계가 높은 경우, 한 번에 SVD 기반 방법의 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 핵노름 정규화는 단일작업 학습 대비 예측 성능을 크게 향상시켜 공유 표현의 이점을 입증한다.
• ADMM와 AccProxGD는 각 반복에서 정규화된 ERM 문제를 해결하기 때문에 표준 ProxGD보다 우수한 성능을 보이며, ADMM는 강력한 실증 성능을 보인다.
• DGSP와 ProxGD는 유사한 성능를 보이지만, DGSP는 전역 수렴 보장이 없어 시간이 지남에 따라 성능이 떨어지며, ProxGD는 전역 최적해로 수렴한다.
• DNSP는 가장 높은 통신 효율성을 달성하며, 핵노름 정규화 최적해를 약간 초월하는 해로 수렴하는 경우가 많아 두 번째 차수 정보의 가치를 입증한다.
• 한 번에 SVD 절단 방법은 높은 상관관계를 가진 특성 설정에서 실패하며, 때로는 로컬 단일작업 학습 성능조차 떨어지는데, 이는 상관관계가 있는 추정 노이즈 때문이기 때문이다.
• DFW는 모든 방법 중에서 가장 성능이 열 劣하며, DGSP의 재적합 단계가 성능에 매우 중요함을 시사함에도 불구하고, DFW와의 구조적 유사성에도 불구하고 성능이 열 劣하다.