[論文レビュー] Share your Model instead of your Data: Privacy Preserving Mimic Learning for Ranking

Mostafa Dehghani, Hosein Azarbonyad+2 more|arXiv (Cornell University)|Jul 24, 2017

Privacy-Preserving Technologies in Data参考文献 14被引用数 9

ひとこと要約

本稿では、機密性の高いユーザーデータを用いて訓練された教師モデルを活用し、未ラベル付きデータのラベルを生成することで、生データを共有せずに学生ニューラルランカーの訓練が可能となるプライバシー保護型ミミックラーニングを提案する。この手法は、競争力のある性能（例：NDCG@10 0.3559）を達成するとともに、ユーザープrivacyを保護する。これにより、情報検索分野におけるデータ共有の代わりにモデル共有が可能であることが示された。

ABSTRACT

Deep neural networks have become a primary tool for solving problems in many fields. They are also used for addressing information retrieval problems and show strong performance in several tasks. Training these models requires large, representative datasets and for most IR tasks, such data contains sensitive information from users. Privacy and confidentiality concerns prevent many data owners from sharing the data, thus today the research community can only benefit from research on large-scale datasets in a limited manner. In this paper, we discuss privacy preserving mimic learning, i.e., using predictions from a privacy preserving trained model instead of labels from the original sensitive training data as a supervision signal. We present the results of preliminary experiments in which we apply the idea of mimic learning and privacy preserving mimic learning for the task of document re-ranking as one of the core IR tasks. This research is a step toward laying the ground for enabling researchers from data-rich environments to share knowledge learned from actual users' data, which should facilitate research collaborations.

研究の動機と目的

• ユーザーデータの機密性の懸念から、大規模かつ機密性の高い情報検索データセットへのアクセスが制限される問題に対処すること。
• ミミックラーニングが、元のラベル付きデータに直接アクセスできない状況でも、ニューラルランカーを効果的に訓練できるかどうかを検討すること。
• プライバシー保護型ミミックラーニング技術が、機密訓練データを保護しつつもモデルの有用性を維持できるかどうかを調査すること。
• 生データではなく訓練済みモデルを共有することで、産業界から学術界への知識移転を可能にすること。
• ニューラル情報検索研究における安全でプライバシー保護型の協働の基盤を築くこと。

提案手法

• 実際のユーザーユーザーインタラクションから得た機密性の高いラベル付き訓練データを用いて、深層ニューラルネットワーク（教師モデル）を訓練する。
• 訓練済みの教師モデルを用いて、大規模な未ラベル付きドキュメントコレクションに対して関連性スコアを予測し、擬似ラベルを生成する。
• 擬似ラベル付きデータを用いて、教師モデルのランク付け行動を模倣するように、より小さな学生ニューラルランカーを訓練する。
• Papernotら（2017）が提唱したプライバシー保護技術を適用し、互いに重複のないデータサブセットで訓練された教師モデルのアンサンブルを用いて、微分プライバシーを保証する。
• 複数の教師モデルの予測結果をノイズを含む平均化によって集約することで、プライバシー保護を強化するとともに一般化性能を向上させる。
• NDCG@10 や MAP といった指標を用いて、標準的な情報検索ベンチマーク上で学生モデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 元のラベル付きデータにアクセスできない状況下でも、ミミックラーニングを用いてドキュメント再ランク用のニューラルランカーを効果的に訓練できるか？
• RQ2 RQ2: プライバシー保護型ミミックラーニング技術は、情報検索応用においてユーザープライバシーを保護しつつ、高い性能を維持できるか？
• RQ3 RQ3: 蒸留されたラベルを用いて訓練された学生モデルの性能は、教師モデルおよびベースライン手法と比べてどの程度か？
• RQ4 RQ4: データのパーティショニング、集約におけるノイズ、モデルアーキテクチャが、ランク付けにおけるミミックラーニングの有効性に与える影響は何か？
• RQ5 RQ5: モデル共有は、情報検索分野の協働研究において、データ共有の代替手段として実用的かつプライバシー保護型の選択肢として成立するか？

主な発見

• 1つの教師モデルが生成した擬似ラベルを用いて訓練された学生モデルは、NDCG@10 0.3559 を達成し、教師モデルの性能に近づいた。
• 複数の教師モデルのノイズを含む集約を用いることで、一般化性能が向上し、単一の教師モデルを用いた場合よりも学生モデルの性能が向上した。
• 教師モデルから学生モデルへの性能低下は、単にデータパーティショニングやノイズの影響によるものではなく、教師モデルごとの訓練データ量の減少にも起因していた。
• ノイズを含む集約構成の下で、学生モデルが教師モデルを上回る性能を示した。これは、アンサンブルベースの蒸留が耐障害性を高められることを示している。
• 微分プライバシーの保証を備えた教師モデルのアンサンブルを用いたプライバシー保護型ミミックラーニングは、機密データを効果的に保護しつつ、競争力のあるランク付け性能を維持した。
• 本研究の結果は、生データではなく訓練済みモデルを共有することで、協働情報検索研究における実用的かつプライバシー保護型の道筋が確立可能であることを示している。