[논문 리뷰] Share your Model instead of your Data: Privacy Preserving Mimic Learning for Ranking

Mostafa Dehghani, Hosein Azarbonyad외 2명|arXiv (Cornell University)|2017. 07. 24.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 9

한 줄 요약

이 논문은 개인정보 보호를 고려한 모의 학습 기법을 정보 검색 분야에 적용한다. 민감한 사용자 데이터로 훈련된 교사 모델이 비라벨링된 데이터에 대한 레이블을 생성함으로써, 원시 데이터를 공유하지 않고도 학생 신경망 랭커를 훈련시킬 수 있다. 이 방법은 경쟁력 있는 성능(예: NDCG@10 0.3559)을 달성하면서도 사용자 개인정보를 보호하며, 정보 검색 연구에서 데이터 공유 대신 모델 공유가 가능함을 보여준다.

ABSTRACT

Deep neural networks have become a primary tool for solving problems in many fields. They are also used for addressing information retrieval problems and show strong performance in several tasks. Training these models requires large, representative datasets and for most IR tasks, such data contains sensitive information from users. Privacy and confidentiality concerns prevent many data owners from sharing the data, thus today the research community can only benefit from research on large-scale datasets in a limited manner. In this paper, we discuss privacy preserving mimic learning, i.e., using predictions from a privacy preserving trained model instead of labels from the original sensitive training data as a supervision signal. We present the results of preliminary experiments in which we apply the idea of mimic learning and privacy preserving mimic learning for the task of document re-ranking as one of the core IR tasks. This research is a step toward laying the ground for enabling researchers from data-rich environments to share knowledge learned from actual users' data, which should facilitate research collaborations.

연구 동기 및 목표

• 사용자 기밀 보호 문제로 인해 대규모 개인정보 민감한 정보 검색 데이터셋에 접근이 제한되는 문제 해결.
• 원본 레이블 데이터에 직접 접근하지 않고도 모의 학습 기법이 신경망 랭커를 효과적으로 훈련시킬 수 있는지 탐색.
• 개인정보 보호 모의 학습 기법이 민감한 훈련 데이터를 보호하면서도 모델의 유용성을 유지할 수 있는지 조사.
• 산업계에서 학계로 지식 전이를 가능하게 하기 위해 원시 데이터 대신 훈련된 모델을 공유함으로써 협업을 촉진.
• 신경망 기반 정보 검색 연구에서 안전하고 개인정보 보호 기반 협업의 기반 마련.

제안 방법

• 실제 사용자 상호작용 데이터에서 수집한 민감한 레이블링 훈련 데이터를 기반으로 깊이 있는 신경망(교사 모델)을 훈련.
• 훈련된 교사 모델을 사용해 대규모 비라벨링 문서 컬렉션에 대해 관련성 점수를 예측하여 가짜 레이블(퍼지-레이블) 생성.
• 가짜 레이블 데이터를 기반으로 더 작은 학생 신경망 랭커를 훈련시켜 교사의 랭킹 행동을 모방.
• Papernot 등(2017)이 제안한 개인정보 보호 기법을 적용하여, 서로 다른 데이터 서브셋에 대해 훈련된 다수의 교사 모델을 활용해 차별적 프라이버시를 확보.
• 다양한 교사의 예측 결과를 노이즈가 포함된 평균화 방식으로 통합하여 추가로 프라이버시를 보호하고 일반화 성능 향상.
• NDCG@10 및 MAP와 같은 지표를 사용해 표준 정보 검색 벤치마크에서 학생 모델의 성능 평가.

실험 결과

연구 질문

• RQ1 RQ1: 원본 레이블 데이터에 접근할 수 없더라도 모의 학습 기법이 문서 재랭킹을 위한 신경망 랭커를 효과적으로 훈련시킬 수 있는가?
• RQ2 RQ2: 개인정보 보호 모의 학습 기법은 정보 검색 응용 분야에서 사용자 프라이버시를 보호하면서도 높은 성능을 유지할 수 있는가?
• RQ3 RQ3: 희석된 레이블을 기반으로 훈련된 학생 모델의 성능은 교사 모델 및 기준 방법 대비 어떻게 비교되는가?
• RQ4 RQ4: 데이터 분할 방식, 집계 과정에서의 노이즈, 모델 아키텍처가 모의 학습의 효과성에 미치는 영향은 무엇인가?
• RQ5 RQ5: 모델 공유가 정보 검색 연구 협업에서 데이터 공유의 실질적이고 개인정보 보호 기반의 대안이 될 수 있는가?

주요 결과

• 단일 교사 모델이 생성한 가짜 레이블을 기반으로 훈련된 학생 모델은 NDCG@10 0.3559를 기록하여 교사 모델의 성능에 근접했다.
• 다수의 교사 모델 예측 결과를 노이즈가 포함된 평균화 방식으로 통합함으로써 일반화 성능 향상이 이루어졌고, 단일 교사 모델 대비 학생 모델의 성능 향상이 뚜렷했다.
• 교사에서 학생 모델로의 성능 저하가 단지 데이터 분할이나 노이즈 때문이 아니라, 각 교사 모델이 사용하는 훈련 데이터의 양 감소 때문이기도 하다.
• 노이즈가 포함된 집합 평균화 환경에서 학생 모델이 교사 모델를 초월하는 성능을 보였으며, 이는 앙상블 기반 희석 기법이 강건성을 향상시킬 수 있음을 시사한다.
• 차별적 프라이버시 보장을 갖춘 앙상블 교사 모델을 활용한 개인정보 보호 모의 학습 기법은 민감한 데이터를 효과적으로 보호하면서도 경쟁력 있는 랭킹 성능 유지를 달성했다.
• 결과적으로 원시 데이터 대신 훈련된 모델을 공유하는 것이 협업 기반 정보 검색 연구에서 실현 가능하고 개인정보 보호 기반의 길임을 입증했다.