[논문 리뷰] Distributed Stochastic Multi-Task Learning with Graph Regularization

Weiran Wang, Jialei Wang외 2명|arXiv (Cornell University)|2018. 02. 11.

Stochastic Gradient Optimization Techniques참고 문헌 6인용 수 16

한 줄 요약

이 논문은 그래프 정규화 학습을 활용하여 평균화 가중치를 기울이거나 공약 기반 방법에서 단계 크기를 조절함으로써 서로 다를 수는 있지만 관련성이 있는 예측기들을 학습시킬 수 있도록 하는 분산 확률적 다중작업 학습 알고리즘을 제안한다. 이 방법은 ADMM 및 SDCA보다 빠른 수렴 속도와 낮은 계산 비용을 달성하며, 군집된 작업 구조를 가진 합성 데이터에서 배치 및 확률적 환경 모두에서 뛰어난 성능을 보이는 실험 결과를 제시한다.

ABSTRACT

We propose methods for distributed graph-based multi-task learning that are based on weighted averaging of messages from other machines. Uniform averaging or diminishing stepsize in these methods would yield consensus (single task) learning. We show how simply skewing the averaging weights or controlling the stepsize allows learning different, but related, tasks on the different machines.

연구 동기 및 목표

• 각 기계가 서로 다른 데이터 분포를 관찰하는 분산 다중작업 학습 문제를 다루며, 작업 간 유사성을 활용하면서도 개인화된 예측기를 요구한다.
• 모든 기계 간 공약을 요구하지 않고 국소 계산과 이웃 기계 간 통신만을 사용하는 통신 효율적인 알고리즘을 개발한다.
• 배치 및 확률적 변형 모두에 대해 통신, 샘플, 계산 복잡도에 대한 엄밀한 수렴 보장을 제공한다.
• 합성 다중작업 회귀 문제에서 기존 방법들인 ADMM 및 SDCA보다 수렴 속도와 계산 효율성 면에서 뛰어난 성능을 내는 것을 목표로 한다.

제안 방법

• 그래프 정규화 프레임워크 내에서 이웃 기계로부터 온 메시지의 가중 평균을 사용하여 기계 간에 서로 다를 수는 있지만 관련성이 있는 예측기를 학습한다.
• 공약 학습에서 평균화 가중치를 기울이거나 단계 크기를 조절하여 단일작업 학습에서 벗어나 다중작업 적응을 가능하게 한다.
• 국소 기울기 또는 프록시멀 업데이트를 사용하는 배치 및 확률적 최적화를 그래프 기반 정규화와 결합한다.
• 예측기의 매개수 공간 내 거리에 기반하여 작업 유사성을 정의하기 위해 10개 이웃 기반 유사도 그래프를 적용한다.
• 그래프 라플라시안 정규화를 포함한 정규화된 경험적 리스크 최소화(RERM) 목적함수를 사용하여 연결된 작업 간 유사성을 강제한다.
• 고정된 미니배치 샘플링을 사용하는 확률적 업데이트를 적용하여 반복 계산 비용을 줄이면서도 수렴성을 유지한다.

실험 결과

연구 질문

• RQ1 모든 기계 간 공약을 강제하지 않고도 기계 간에 서로 다를 수는 있지만 관련성이 있는 예측기를 학습시킬 수 있는 분산 다중작업 학습을 설계할 수 있는가?
• RQ2 수렴 보장이 유지되는 동안 분산 다중작업 학습에서 통신 효율성과 계산 비용을 어떻게 줄일 수 있는가?
• RQ3 공약 알고리즘에서 평균화 가중치를 기울이거나 단계 크기를 조절하면 ADMM 및 SDCA와 같은 기존 방법보다 더 나은 수렴 성능를 얻을 수 있는가?
• RQ4 샘플 및 계산 효율성 측면에서 배치 및 확률적 변형의 성능는 어떻게 비교되는가?
• RQ5 그래프 기반 정규화는 이질적인 다중작업 환경에서 일반화 성능 향상과 샘플 복잡도 감소에 기여하는가?

주요 결과

• 제안된 배치 및 확률적 알고리즘이 정규화된 경험적 리스크 최소화 문제에서 ADMM 및 SDCA보다 수렴 속도가 빠르게 일관되게 성능을 냈다.
• 확률적 알고리즘은 총 샘플 수를 더 적게 처리하면서도 ERM 방법과 경쟁 가능한 성능을 달성하여 낮은 계산 비용을 입증했다.
• 기계당 10,000개의 신규 샘플을 사용할 경우, 확률적 방법은 ERM 기반 접근법의 오차를 따라잡아 강력한 샘플 효율성을 보였다.
• 손실 최적화를 위한 BOL 및 SOL 변형이 정규화를 해결하는 BSR 및 SSR보다 더 낮은 오차를 기록하여 손실 기반 최적화가 더 효과적임을 시사했다.
• 고도의 작업 이질성(C=50개 클러스터) 조건에서도 빠른 수렴을 유지하여 다양한 정도의 작업 유사성에 대해 강건함을 입증했다.
• 실험 결과에 따르면 그래프 기반 정규화가 일반화 성능 향상에 크게 기여하며, 특히 작업이 군집된 경우 두드러진 효과를 보였다.