[논문 리뷰] Assisted Learning and Imitation Privacy

Xun Xian, Xinran Wang외 2명|arXiv (Cornell University)|2020. 04. 01.

Privacy-Preserving Technologies in Data참고 문헌 21인용 수 1

한 줄 요약

이 논문은 서비스 제공자(Bob)가 개인화된 지도 학습을 수행하는 학습자(Alice)를 돕는 데에 사용할 수 있는 Assisted Learning 프레임워크를 제안한다. 이 프레임워크는 Bob의 비밀 모델이나 데이터를 폭 lộ하지 않으면서도 학습 성능을 향상시킨다. 반복적인 통신 과정에서 관련 통계 자료만을 전송함으로써, 학습 성능을 향상시키면서도 '모방 개인정보'라는 새로운 개인정보 보호 개념을 도입한다. 이 개념은 데이터 수준이 아니라 학습 알고리즘 수준에서 泄露를 정량화한다.

ABSTRACT

Motivated by the emerging needs of decentralized learners with personalized learning objectives, we present an Assisted Learning framework where a service provider Bob assists a learner Alice with supervised learning tasks without transmitting Bob's private algorithm or data. Bob assists Alice either by building a predictive model using Alice's labels, or by improving Alice's private learning through iterative communications where only relevant statistics are transmitted. The proposed learning framework is naturally suitable for distributed, personalized, and privacy-aware scenarios. For example, it is shown in some scenarios that two suboptimal learners could achieve much better performance through Assisted Learning. Moreover, motivated by privacy concerns in Assisted Learning, we present a new notion of privacy to quantify the privacy leakage at learning level instead of data level. This new privacy, named imitation privacy, is particularly suitable for a market of statistical learners each holding private learning algorithms as well as data.

연구 동기 및 목표

• 학습자가 비밀 데이터와 모델을 보유한 상황에서 탈중앙화되고 개인화된 학습의 필요를 해결한다.
• 협업을 통해 성능 향상을 이룰 수 있도록 하되, 비밀 학습 알고리즘과 데이터를 공유하는 데 도전하는 문제를 해결한다.
• 데이터 수준이 아니라 학습 알고리즘 수준에서 泄露를 정량화하는 새로운 개인정보 보호 메트릭인 '모방 개인정보'를 제안한다.
• 오직 관련 통계 자료만을 반복적으로 교환함으로써 안전하고 효율적이며 개인정보 보호가 보장된 모델 개선을 가능하게 한다.
• 각자가 비밀 알고리즘과 데이터를 보유한 통계적 학습자들의 시장 환경을 지원하며, 기능성과 개인정보 보호를 동시에 확보한다.

제안 방법

• Bob이 Alice의 레이블을 사용하여 예측 모델을 구축함으로써 Alice를 지원하는 프레임워크를 설계하며, Bob의 비밀 알고리즘과 데이터를 유지한다.
• Alice와 Bob 간의 반복적 통신을 가능하게 하여, 오직 관련 통계 요약 자료만을 전송함으로써 Alice의 비밀 모델을 향상시킨다.
• 어떤 적대자가 상호작용을 통해 Bob의 비밀 학습 알고리즘을 재구성할 수 있는 위험을 정량화하기 위해, 모방 개인정보를 공식적인 개인정보 보호 개념으로 도입한다.
• 오직 최소한의 비민감한 정보만 교환되는 분산 최적화 문제로 학습 과정을 수식화한다.
• 프레임워크가 탈중앙화되고 개인화되며 개인정보 보호에 민감한 기계 학습 환경에 적합하도록 확장 가능하게 한다.
• 통계적 및 정보 이론적 도구를 사용하여 보조 학습 과정 중 모방 개인정보 泄露를 분석하고 경계한다.

실험 결과

연구 질문

• RQ1 서비스 제공자가 비밀 데이터나 알고리즘을 폭 lộ하지 않고도 학습자가 자신의 모델을 향상시킬 수 있도록 어떻게 도울 수 있는가?
• RQ2 학습 알고리즘에 대한 효과적인 개인정보 보호 메트릭은 무엇이며, 이는 모델 역전환 공격이나 모방 공격의 위험을 어떻게 반영하는가?
• RQ3 두 개의 비최적 모델을 가진 학습자들이 최소한의 정보 교환으로도 상당한 성능 향상을 달성할 수 있는가?
• RQ4 분산 학습 환경에서 학습 알고리즘의 개인정보 유출는 어떻게 정량화하고 최소화할 수 있는가?
• RQ5 보조 학습 프레임워크에서 모델 성능 향상과 개인정보 유출 사이의 상충 관계는 무엇인가?

주요 결과

• Assisted Learning 프레임워크는 원시 데이터나 전체 모델을 공유하지 않으면서도 비최적 학습자들의 성능 향상을 가능하게 한다.
• 오직 관련 통계 요약 자료만을 반복적으로 전송함으로써 보안성 있고 효율적인 모델 개선이 가능하며, 통신 및 개인정보 보호 오버헤드를 줄인다.
• 모방 개인정보는 적대자가 상호작용을 통해 비밀 학습 알고리즘을 재구성할 수 있는 위험을 효과적으로 정량화하며, 새로운 개인정보 보호 추상화를 제공한다.
• 프레임워크는 탈중앙화되고 개인화되며 개인정보 보호에 민감한 기계 학습 응용 분야에 자연스럽게 적합하다.
• 이론적 분석을 통해 모방 개인정보는 통신 프로토콜의 철저한 설계를 통해 경계되고 최소화될 수 있음을 보여준다.
• 실제 시나리오에서는 두 당사자가 약한 모델에서 출발하더라도 보조 학습을 통해 상당한 성능 향상을 달성할 수 있음을 입증한다.