[논문 리뷰] Assisted Learning: A Framework for Multi-Organization Learning

Xun Xian, Xinran Wang외 2명|arXiv (Cornell University)|2020. 04. 01.

Data Stream Mining Techniques참고 문헌 72인용 수 16

한 줄 요약

이 논문은 기관 간에 비밀 데이터, 모델, 또는 학습 작업을 공유하지 않고도 공동으로 지도 학습 성능을 향상시킬 수 있도록 보장하는 프라이버시 보장 프레임워크인 Assisted Learning을 소개한다. 반복 라운드 동안 민감도가 낮고 작업에 특화된 통계 자료만 교환함으로써, 선형, 트리 기반, 신경망을 포함한 다양한 모델에서 중심 집중 학습과 거의 동일한 성능에 도달할 수 있으며, 이는 MIMIC-III와 같은 실제 의료 기준 데이터셋을 통해 검증되었다.

ABSTRACT

In an increasing number of AI scenarios, collaborations among different organizations or agents (e.g., human and robots, mobile units) are often essential to accomplish an organization-specific mission. However, to avoid leaking useful and possibly proprietary information, organizations typically enforce stringent security constraints on sharing modeling algorithms and data, which significantly limits collaborations. In this work, we introduce the Assisted Learning framework for organizations to assist each other in supervised learning tasks without revealing any organization's algorithm, data, or even task. An organization seeks assistance by broadcasting task-specific but nonsensitive statistics and incorporating others' feedback in one or more iterations to eventually improve its predictive performance. Theoretical and experimental studies, including real-world medical benchmarks, show that Assisted Learning can often achieve near-oracle learning performance as if data and training processes were centralized.

연구 동기 및 목표

• 기밀 정보를 공유할 수 없는 기관 간 공동 학습의 과제를 해결하기 위해.
• 중앙 집중적 조율 없이도 기관 간 반복적 보조를 통해 국소 모델 성능을 향상시킬 수 있는 탈중앙화 프레임워크를 설계하기 위해.
• 모든 기밀 정보가 격리된 상태에서도 중심 집중 데이터 통합 성능에 가까운 성능을 달성할 수 있도록 하기 위해.
• 실제 응용 분야에서 다양한 비선형 및 비모수적 학습 과제에 대해 프레임워크의 효과성을 입증하기 위해.

제안 방법

• 기본 데이터나 모델 대신 반복적 라운드 동안 민감도가 낮고 작업에 특화된 통계 자료(예: 잔차 또는 기울기)만 교환한다.
• 각 기관은 다른 기관으로부터의 피드백을 활용해 국소 모델을 개선하며, 점차 중심 집중 모델의 성능에 가까워진다.
• 이 프레임워크는 릿지 회귀, 의사결정 트리, 랜덤 포레스트, 기울기 부스팅, 신경망을 포함한 선형 및 비선형 모델 모두를 지원한다.
• 잔차 기반 피드백 메커니즘을 사용해 반복적인 개선을 이끌며, 다른 기관의 데이터에 접근한 것과 유사한 효과를 낸다.
• 기존 기계 학습 파ipeline와 호환되며, 기초 알고리즘에 대한 변경이 필요하지 않다.
• 과적합을 방지하기 위해 성능 모니터링을 통해 모델 선택 및 반복 정지 조건을 지정하며, 최적의 반복 횟수는 경험적으로 결정된다.

실험 결과

연구 질문

• RQ1 기밀 데이터, 모델, 또는 학습 과제를 공유하지 않고도 기관 간에 지도 학습의 예측 성능을 향상시킬 수 있는가?
• RQ2 다수 기관으로부터의 반복적이고 프라이버시 보장형 피드백은 어떻게 중심 집중 학습 성능에 가까운 성능을 이끌 수 있는가?
• RQ3 어떤 형태의 민감도가 낮고 작업에 특화된 통계 자료를 교환함으로써 기밀성 손상 없이 효과적인 협업을 이룰 수 있는가?
• RQ4 이 프레임워크는 다양한 비선형 및 비모수적 학습 모델에서 어떻게 성능을 발휘하는가?
• RQ5 실제 프라이버시 제약 조건이 존재하는 환경에서 기존 앙상블 방법(예: 스태킹)보다 우수한 성능을 낼 수 있는가?

주요 결과

• MIMIC-III 기준에서 퇴원 기간 예측 시, 선형 및 릿지 회귀 모델을 사용할 경우 Assisted Learning는 올리서드 성능에 비해 평균 절대편차(MAD) 값이 0.01~0.05 범위 내에서 수렴하였다.
• 의사결정 트리 및 앙상블 방법을 사용할 경우, 테스트 오차는 초기에 거의 올리서드 수준까지 감소하다가 약간 증가하는 경향을 보였으며, 이는 반복 횟수와 모델 복잡도 사이의 상충 관계를 시사한다.
• 두 층으로 구성된 신경망의 경우, Assisted Learning는 올리서드보다 약간 느리게 수렴했지만, 최적 예측 정확도에서 거의 차이가 없었다.
• 스태킹 방법과 비교했을 때, Friedman1 및 MIMIC3 기준에서 테스트한 모든 모델 조합에서 Assisted Learning가 스태킹을 뚜렷이 능가하였다.
• MIMIC3 데이터셋에서 기울기 부스팅을 메타모델로 사용할 경우, 스태킹의 MAD 121.8에서 Assisted Learning는 108.8로 감소시켰다.
• 비모수적 및 딥 러닝 아키텍처를 포함한 모든 테스트 모델에서 Assisted Learning는 거의 올리서드 성능을 달성했으며, 이는 광범위한 적용 가능성을 입증한다.