[論文レビュー] Towards an Accountable and Reproducible Federated Learning: A FactSheets Approach

Nathalie Baracaldo, Ali Anwar+9 more|arXiv (Cornell University)|Feb 25, 2022

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

本論文は、AI FactSheets に検証可能で改ざん検知可能な事実を統合することで、フェデレーテッドラーニング（FL）における責任性と再現可能性を実現する新規アプローチ、AFˆ2 フレームワークを紹介する。従来の FactSheets を拡張し、分散型 FL 環境における動的・ネストされた事実および複雑なモデル構成をサポートする。監査官は構造化された主張と暗号的証拠を通じて、FL プロセスの検証・再現・認証が可能になる。

ABSTRACT

Federated Learning (FL) is a novel paradigm for the shared training of models based on decentralized and private data. With respect to ethical guidelines, FL is promising regarding privacy, but needs to excel vis-à-vis transparency and trustworthiness. In particular, FL has to address the accountability of the parties involved and their adherence to rules, law and principles. We introduce AF^2 Framework, where we instrument FL with accountability by fusing verifiable claims with tamper-evident facts, into reproducible arguments. We build on AI FactSheets for instilling transparency and trustworthiness into the AI lifecycle and expand it to incorporate dynamic and nested facts, as well as complex model compositions in FL. Based on our approach, an auditor can validate, reproduce and certify a FL process. This can be directly applied in practice to address the challenges of AI engineering and ethics.

研究の動機と目的

• 規制環境において遵守、監査、信頼が重要な状況において、フェデレーテッドラーニング（FL）における責任性の欠如を是正すること。
• 透明性と責任性といった倫理的原則を、検証可能で、否定できない、認証可能な、改ざん検知可能な主張として形式化することで、FL における実務的適用を可能にすること。
• AI FactSheets パラダイムを拡張し、複数の参加者と変化するモデル状態を含む、動的・ネスト型・複雑な FL ワークフローをサポートすること。
• モデル更新、データプロバンス、評価指標の構造的ログ記録を通じて、FL プロセスのエンドツーエンドの再現可能性と監査可能性を実現すること。
• 政府サービスや医療分野などの実世界の導入を想定した、実用的な実装フレームワークを提供すること。

提案手法

• AFˆ2 フレームワークは、主張（例：モデル更新、データサイズ）と暗号的証拠（例：ハッシュ値、タイムスタンプ）を融合させることで、改ざん検知可能な事実を形成し、FL に責任性を統合する。
• 動的・ネスト型の事実をサポートするよう AI FactSheets を拡張し、ラウンド・参加者・モデル集約を跨ぐ FL 状態の変化を表現可能にする。
• 検証可能な主張は、形式的述語（例：'aggregator attests sent_global_model(round, hash)'）として表現され、保存された証拠に対して自動検証が可能になる。
• 否定不能性は、暗号署名とコンSENSUS メカニズムにより強化され、すべての参加者が共有状態を承認するよう保証され、乖離は FactSheet で検出可能になる。
• 改ざん検知性は、データ・モデル更新・メタデータの暗号的ハッシュ値を保存することで達成され、データまたはモデル改ざんの検出が可能になる。
• 詳細なメトリクス（例：正解率、F1スコア）、モデルアーキテクチャ、ハイパーパrameter のラウンドごとのログ記録により、監査可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、ガバナンス・リスク・コンプライアンス（GRC）基準への適合を保証するため、フェデレーテッドラーニングシステムに体系的かつ責任ある設計を組み込むことができるか？
• RQ2 信頼できない参加者が関与する分散型 FL 環境において、検証可能で、否定不能で、改ざん検知可能な主張を実現するメカニズムは何か？
• RQ3 複数のモデル更新とデータソースを含む、動的・ネスト型・複雑な FL ワークフローをサポートするため、AI FactSheets をどのように拡張できるか？
• RQ4 構造的で暗号的に保護された事実を用いることで、FL プロセスの再現性と監査可能性はどの程度達成可能か？
• RQ5 政府や医療分野など、高リスク分野における実世界の導入を支援するため、このフレームワークはどのように機能するか？

主な発見

• AFˆ2 フレームワークは、データ処理、モデル更新、評価のすべてのフェーズにおいて、検証可能で、否定不能で、認証可能で、改ざん検知可能な主張の生成を成功裏に実現した。
• 政府ユースケースでは、'Aggregator attests sent_global_model(3, "a68b0e5989a...")' や 'Aggregator attests evaluation_results(2, {"acc": 0.43734, ...})' といった主張がログ記録・検証され、監査可能性が確保された。
• 主張をトレーニングデータおよびテストデータのハッシュ値に束縛することで、データ改ざんの検出が可能となる、検証可能性が実現された。
• 一意なハッシュ値を介したモデル更新の相互承認により、否定不能性が強化され、非適合は明示的に FactSheet に記録された。
• 学習率（0.1）、エポック数（1）、モデルアーキテクチャ（Keras-CNN）を含むすべての重要なパrameter をログ記録することで、FL プロセスの完全な再現性が実現された。
• 実装により、10ラウンド・5参加者を含む複雑な FL ワークフローが、FactSheet 構造を用いて体系的に文書化・監査可能であることが示された。