[論文レビュー] Towards Interpretable Federated Learning

Anran Li, Rui Liu+3 more|arXiv (Cornell University)|Feb 27, 2023

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

この論文は interpretable federated learning (IFL) の最初の総説であり、分類法を提案し、代表的な IFL アプローチ、評価指標、将来の方向性を分析します。

ABSTRACT

Federated learning (FL) enables multiple data owners to build machine learning models collaboratively without exposing their private local data. In order for FL to achieve widespread adoption, it is important to balance the need for performance, privacy-preservation and interpretability, especially in mission critical applications such as finance and healthcare. Thus, interpretable federated learning (IFL) has become an emerging topic of research attracting significant interest from the academia and the industry alike. Its interdisciplinary nature can be challenging for new researchers to pick up. In this paper, we bridge this gap by providing (to the best of our knowledge) the first survey on IFL. We propose a unique IFL taxonomy which covers relevant works enabling FL models to explain the prediction results, support model debugging, and provide insights into the contributions made by individual data owners or data samples, which in turn, is crucial for allocating rewards fairly to motivate active and reliable participation in FL. We conduct comprehensive analysis of the representative IFL approaches, the commonly adopted performance evaluation metrics, and promising directions towards building versatile IFL techniques.

研究の動機と目的

• プライバシーに敏感で任務にとって重大なアプリケーションにおいて、解釖可能な連合学習の必要性を動機づける。
• クライアント/サンプル/特徴選択、モデル最適化、貢献評価を含む、IFLの包括的な分類法を提供する。
• FL設定全体における代表的なIFLアプローチ、評価指標、そしてプライバシーの考慮を分析する。
• 解釈可能性、性能、プライバシーのバランスを取る上での課題を特定し、方向性を提案する。

提案手法

• 利害関係者の役割とプライバシー保護に基づく独自のIFL分類法を提案する。
• クライアント選択、サンプル選択、特徴選択、モデル最適化、貢献評価の各段階でIFLアプローチを分類する。
• モデル非依存およびモデル特異的なパラダイムにまたがる解釈可能な手法を、奨励ベースや堅牢なアグリゲーション手法を含めてレビューする。
• 有効性（忠実度、解釈後の性能）と効率性（計算/通信コスト）に関する評価指標を総合する。
• 解釈可能なモデル抽出、ハードサンプル対応のIFL、複雑な脅威モデルに対する頑健性など、将来の方向性を概説する。

Figure 1: The proposed taxonomy for the IFL literature.

実験結果

リサーチクエスチョン

• RQ1 解釈可能な連合学習に関与する主要な要素と利害関係者は何か？
• RQ2 どの分類法が既存のIFLアプローチとFLの段階全体のプライバシーの考慮を最も適切に捉えるか？
• RQ3 FL内のクライアント/サンプル/特徴選択およびモデル最適化において解釈可能性を達成する主な方法は何か？
• RQ4 IFLアプローチは有効性と効率性の観点でどのように評価すべきか？
• RQ5 解釈可能でプライベートかつ頑健なFLシステムを前進させる将来の方向性は何か？

主な発見

• IFLはデータの不可視性とFLにおけるリソース制約のため、学際的で挑戦的である。
• 5つの段階にわたるIFLアプローチの分類法と系統だった総説は、分野のまとまりのある見通しを提供する。
• 解釈可能な手法は、クライアント/サンプル/特徴選択、モデル構築、堅牢なアグゲーション、貢献評価に及び、モデル非依存およびモデル特異的な手法の双方を含む。
• 評価指標は忠実度と解釈後の性能（有効性）、および計算・通信コスト（効率性）を区別する。
• 将来の方向性として、解釈可能なモデル抽出、ハードサンプル対応、プライバシー保護IFL、複雑な脅威モデルへの対応が挙げられた。