[論文レビュー] Interpret Federated Learning with Shapley Values

Guan Wang|arXiv (Cornell University)|May 11, 2019

Privacy-Preserving Technologies in Data参考文献 15被引用数 19

ひとこと要約

本稿では、シャープレー値を用いたプライバシー保護型解釈手法を、垂直連携型フェデレーテッドラーニングに適用する。この手法により、ホスト側の特徴量に対して詳細な重要度を割り当てると同時に、ゲスト側の特徴量に対して統一された重要度スコアを提供することで、モデルの解釈可能性とデータプライバシーの両立を実現する。ゲストデータの保護を確保しつつ、モデル予測に対する実行可能なインサイトを提供する。

ABSTRACT

Federated Learning is introduced to protect privacy by distributing training data into multiple parties. Each party trains its own model and a meta-model is constructed from the sub models. In this way the details of the data are not disclosed in between each party. In this paper we investigate the model interpretation methods for Federated Learning, specifically on the measurement of feature importance of vertical Federated Learning where feature space of the data is divided into two parties, namely host and guest. For host party to interpret a single prediction of vertical Federated Learning model, the interpretation results, namely the feature importance, are very likely to reveal the protected data from guest party. We propose a method to balance the model interpretability and data privacy in vertical Federated Learning by using Shapley values to reveal detailed feature importance for host features and a unified importance value for federated guest features. Our experiments indicate robust and informative results for interpreting Federated Learning models.

研究の動機と目的

• ゲスト参加者側のデータプライバシーを損なうことなく、垂直連携型フェデレーテッドラーニングモデルの解釈を可能にする。
• ホスト側の特徴量に対して細分化された特徴量重要度を割り当てるが、ゲスト側の特徴量のプライバシーを保護する手法を開発する。
• フェデレーテッドラーニング環境において、モデルの解釈可能性とデータ機密性の両立を図る。
• ゲーム理論的原則を用いて、フェデレーテッドモデルのための統一的かつプライバシー保護型の解釈フレームワークを提供する。

提案手法

• 協力的ゲーム理論を活用し、シャープレー値を用いて垂直連携型フェデレーテッドラーニングにおける特徴量重要度を定量化する。
• 個々の予測解釈のため、ホスト参加者からの特徴量に詳細なシャープレー値を割り当てる。
• ゲスト参加者からのすべての特徴量に統一されたシャープレー値を適用し、個々のデータパターンの漏洩を防ぐ。
• 分散データ上で訓練されたサブモデルからメタモデルを構築し、データの局所性とプライバシーを保持する。
• 生データの共有を必要とせず、フェデレーテッドラーニングパイプラインにシャープレーに基づく解釈を統合する。
• 公平性と一貫性を確保するため、対称的な集約戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、感度の高いゲスト参加者側の特徴量を保護しつつ、垂直連携型フェデレーテッドラーニングにおける個々の予測を解釈できるか？
• RQ2 生のゲストデータを暴露せずに、フェデレーテッドラーニングにおける特徴量重要度を最適に割り当てる方法は何か？
• RQ3 シャープレー値は、フェデレーテッド環境においてプライバシーを保護しつつも、高い解釈可能性を維持できるように適応可能か？
• RQ4 統一されたゲスト特徴量重要度は、個別特徴量への割り当てと比較して、忠実度とプライバシーの両面で優れているか？

主な発見

• 提案手法は、個々のゲスト特徴量を露呈させることなく、強固で情報豊富な解釈結果を達成している。
• シャープレー値は、ホストおよびゲスト参加者両方において、公平で一貫性のある特徴量重要度の割り当てを提供する。
• 統一されたゲスト特徴量重要度は、データ漏洩を効果的に防止しつつ、解釈可能性を維持している。
• 実験により、本手法が多様な垂直連携型フェデレーテッドラーニングシナリオにおいて、高いモデル忠実度と解釈可能性を維持していることが示された。