[논문 리뷰] A Quasi-Newton Method Based Vertical Federated Learning Framework for Logistic Regression

Kai Yang, Tao Fan외 3명|arXiv (Cornell University)|2019. 12. 01.

Privacy-Preserving Technologies in Data참고 문헌 12인용 수 57

한 줄 요약

이 논문은 덧셈 동형 암호를 사용하여 통신 라운드를 줄이는 로지스틱 회귀를 위한 준-뉴턴(vertical) 연합학습 프레임워크를 제안하며, 1차 SGD 기반의 벤치마크에 비해 각 라운드 비용은 작지만 수렴 속도가 더 빠르다.

ABSTRACT

Data privacy and security becomes a major concern in building machine learning models from different data providers. Federated learning shows promise by leaving data at providers locally and exchanging encrypted information. This paper studies the vertical federated learning structure for logistic regression where the data sets at two parties have the same sample IDs but own disjoint subsets of features. Existing frameworks adopt the first-order stochastic gradient descent algorithm, which requires large number of communication rounds. To address the communication challenge, we propose a quasi-Newton method based vertical federated learning framework for logistic regression under the additively homomorphic encryption scheme. Our approach can considerably reduce the number of communication rounds with a little additional communication cost per round. Numerical results demonstrate the advantages of our approach over the first-order method.

연구 동기 및 목표

• 데이터가 두 당사자 간에 수직으로 분할되어 있을 때 프라이버시를 보장하는 협력 학습의 필요성을 제시한다.
• 로지스틱 회귀를 위한 수직 FL의 수렴 가속화를 위한 준-뉴턴 방법을 개발한다.
• 추가적인 라운드 비용을 제어하면서 커뮤니케이션 라운드를 줄인다.
• 덧셈 동형 암호화를 활용하여 안전한 그래디언트 및 손실 계산을 가능하게 한다.
• SGD 기반의 1차 수직 FL 접근 방식과 비교하는 실증적 증거를 제공한다.

제안 방법

• 로지스틱 손실의 테일러 근사를 채택하여 암호화된 계산이 가능하도록 한다.
• 부분 샘플링된 해시안 정보와 L 회 반복마다 곡률을 업데이트하여 준-뉴턴 업데이트를 안정화한다.
• 당사자 A와 B 간에 암호화된 중간 값을 교환하여 암호화된 손실과 그래디언트를 계산한다.
• 코디네이터에서 암호화된 그래디언트와 손실을 모아 학습률 η를 사용하여 g̃ = H g를 계산하는 하강 방향을 얻는다.
• 메모리 M과 배치 S 및 SH를 사용하는 제한된 메모리(BFGS 스타일) 방식으로 역해시안 H를 업데이트한다.
• 커뮤니케이션 비용이 라운드당 한정되며 SGD 기반의 수직 FL과의 비교를 보인다.

실험 결과

연구 질문

• RQ1 수 stochastic quasi-Newton 접근 방식이 로지스틱 회귀에 대한 수직 연합학습에서 커뮤니케이션 라운드 수를 줄일 수 있는가?
• RQ2 암호화된 설정에서 해시안의 부분 샘플링 사용 시 라운드당 커뮤니케이션 비용과 총 라운드 수 간의 트레이드오프는 어떻게 되는가?
• RQ3 제안된 프레임워크가 실제 데이터 세트에서 수렴성과 성능 측면에서 1차 SGD 기반 수직 FL 방식과 어떻게 비교되는가?
• RQ4 덧셈 동형 암호화로 안전한 계산이 유지되면서 더 빠른 수렴을 달성하는가?

주요 결과

배치 크기	방법	Credit 1 Epochs	Credit 1 Loss	Credit 1 AUC	Credit 2 Epochs	Credit 2 Loss	Credit 2 AUC
1000	SGD	12	0.496218	0.7224	12	0.314555	0.7033
1000	Proposed	3	0.496600	0.7222	4	0.314643	0.7061
3000	SGD	18	0.496194	0.7219	14	0.314648	0.6982
3000	Proposed	12	0.496317	0.7225	6	0.314490	0.7077

• 준-뉴턴 수직 FL 프레임워크가 SGD 기반 벤치마크에 비해 커뮤니케이션 라운드를 줄인다.
• 실험에서 S와 L을 선택한 경우, 손실과 테스트 데이터의 AUC는 비슷하게 유지되면서 수렴 속도(에포크 수)가 더 빠르다.
• 암호화 기반 프레임워크는 per-round 비용이 다소 높아지지만 곡률 정보를 활용해 총 커뮤니케이션 라운드를 줄인다.
• 신용 평가 데이터셋에 대한 보고된 실험은 제안된 방법이 여러 설정에서 에포크 수를 줄이고 손실/ AUC와 같은 성능 지표가 비교되거나 더 좋음을 보여준다.
• 전반적으로 이 방법은 연구된 수직 분할 설정에서 1차 접근법에 비해 커뮤니케이션 효율성 향상을 보인다.