[논문 리뷰] GAL: Gradient Assisted Learning for Decentralized Multi-Organization Collaborations

Enmao Diao, Jie Ding외 1명|arXiv (Cornell University)|2021. 06. 02.

Mobile Crowdsensing and Crowdsourcing참고 문헌 34인용 수 6

한 줄 요약

이 논문은 지역 데이터, 모델, 목적 함수를 공유하지 않고도 공동으로 공유 모델을 최적화할 수 있도록 하는 탈중앙화된 다중 기관 학습 프레임워크인 그래디언트 보조 학습(GAL)을 제안한다. 전역 그래디언트 방향을 근사하기 위해 의사 잔차를 교환하고 적합시킴으로써 GAL은 일반적으로 10회 이내의 통신 라운드로 중심화 학습에 가까운 성능을 달성하며, 이는 의료, 금융, 소매 분야에서 대규모이고 개인정보가 민감한 협업에 있어 효율적이다.

ABSTRACT

Collaborations among multiple organizations, such as financial institutions, medical centers, and retail markets in decentralized settings are crucial to providing improved service and performance. However, the underlying organizations may have little interest in sharing their local data, models, and objective functions. These requirements have created new challenges for multi-organization collaboration. In this work, we propose Gradient Assisted Learning (GAL), a new method for multiple organizations to assist each other in supervised learning tasks without sharing local data, models, and objective functions. In this framework, all participants collaboratively optimize the aggregate of local loss functions, and each participant autonomously builds its own model by iteratively fitting the gradients of the overarching objective function. We also provide asymptotic convergence analysis and practical case studies of GAL. Experimental studies demonstrate that GAL can achieve performance close to centralized learning when all data, models, and objective functions are fully disclosed.

연구 동기 및 목표

• 개인정보 및 규제 제약으로 인해 기관들이 지역 데이터, 모델, 목적 함수를 공유하지 않는 탈중앙화된 다중 기관 협업 문제를 해결한다.
• 각 기관이 동일한 샘플의 서로 다른, 겹치지 않는 특징을 보유한 수직 분할 데이터 환경에서 효과적인 학습을 가능하게 한다.
• 동기화를 최소화하고 전체 모델 또는 데이터 공유를 피름으로써 통신 및 계산 오버헤드를 감소시킨다.
• 풍부한 계산 자원을 보유한 대규모 기관에 적합한 확장 가능하고 자율적인 학습 프레임워크를 개발한다.
• 기관 간 데이터 및 모델 개인정보를 유지하면서도 중심화 학습에 가까운 성능를 달성한다.

제안 방법

• 기관들은 탈중앙적으로 의사 잔차를 교환하며, 이는 훈련 손실을 감소시키는 데 도움이 되는 전역 그래디언트 방향의 근사치이다.
• 각 기관은 자신의 지역 데이터, 모델, 목적 함수를 사용해 이러한 의사 잔차를 적합시켜 전역 그래디언트의 예측을 생성한다.
• 대상 기관(앨리스)는 예측에 적응형 가중치를 할당하여 최적의 전역 그래디언트 방향을 추정한다.
• 앨리스는 추정된 그래디언트 방향을 따라 선 탐색을 수행하여 모델 업데이트에 최적의 학습률을 결정한다.
• 수렴할 때까지 반복되며, 통신 요구 사항이 최소화되어 일반적으로 중심화 학습 성능에 도달하기 위해 10회 이내의 라운드만 필요하다.
• 추론 과정에서는 기관들이 자신의 지역 예측을 앨리스에게 전송하고, 앨리스가 이를 종합하여 최종 모델 출력을 생성한다.

실험 결과

연구 질문

• RQ1 지역 데이터, 모델, 목적 함수를 공유하지 않고도 중심화 학습에 비슷한 성능를 달성할 수 있는 탈중앙화 학습 프레임워크는 가능한가?
• RQ2 GAL은 다양한 기관 간 이질적인 데이터 모odalities를 가진 수직 분할 데이터를 다룰 때 얼마나 효과적인가?
• RQ3 잡음이 있거나 정보가 없는 기관의 영향은 GAL의 수렴성과 성능에 어떤 영향을 미치는가?
• RQ4 통신 효율성과 모델 정확도 측면에서 기존 방법인 페더레이티드 러닝과 그래디언트 부스팅과 비교해 GAL은 어떻게 성과를 내는가?
• RQ5 실제 벤치마크 데이터셋에서 GAL이 오라클 성능에 가까운 성능를 달성하기 위해 필요한 최소 보조 라운드 수는 얼마인가?

주요 결과

• GAL은 당뇨병, 보스턴 주택, MNIST와 같은 벤치마크 데이터셋에서 데이터나 모델을 공유하지 않더라도 중심화 학습 성능의 2-5% 이내로 성능를 달성한다.
• 절단 실험에서 반의 기관이 잡음 있는 출력(σ=1)을 제공하더라도 GAL은 높은 정확도(예: 블롭 데이터셋에서 97.5%)를 유지하여 노이즈에 대한 강건성을 입증한다.
• 반의 기관이 예측 능력을 기여하지 못할 경우(특징이 N(0,1)에서 유래), GAL은 유방암 데이터셋에서 97.6% 정확도, M=4일 때 98.2% 정확도를 기록하여 정보가 없는 파art너에 대한 강성함을 보여준다.
• 평균적으로 10라운드 이내에 수렴하여, 동기화된 페더레이티드 러닝에 비해 통신 및 조율 비용을 크게 감소시킨다.
• 최적의 보조 가중치 할당을 통해 GAL은 MNIST에서 96.8% 정확도, CIFAR10에서 71.4% 정확도를 기록하여 오라클 성능에 근접한다.
• 이 프레임워크는 고전적인 그래디언트 부스팅을 탈중앙화되고 수직으로 분할된 데이터 환경으로 일반화하여, 개인정보 보호를 고려한 다중 기관 학습에의 적용 가능성을 확장한다.