[論文レビュー] SoK: Machine Learning Governance

Varun Chandrasekaran, Hengrui Jia+4 more|arXiv (Cornell University)|Sep 20, 2021

Adversarial Robustness in Machine Learning参考文献 297被引用数 11

ひとこと要約

本稿は、機械学習の責任ある導入を可能にするために、所有権、責任、保証、ライフサイクル管理の4本の柱からなるフレームワークを提案する。モデルおよびデータの明確な識別子を形式化し、障害の原因を特定可能にし、検証可能な主張を通じて信頼を確保するとともに、動的モデル更新を支援することで、主な関係者間の機械学習のリスクと利益のバランスをゲーム理論的基盤で確立する。

ABSTRACT

The application of machine learning (ML) in computer systems introduces not only many benefits but also risks to society. In this paper, we develop the concept of ML governance to balance such benefits and risks, with the aim of achieving responsible applications of ML. Our approach first systematizes research towards ascertaining ownership of data and models, thus fostering a notion of identity specific to ML systems. Building on this foundation, we use identities to hold principals accountable for failures of ML systems through both attribution and auditing. To increase trust in ML systems, we then survey techniques for developing assurance, i.e., confidence that the system meets its security requirements and does not exhibit certain known failures. This leads us to highlight the need for techniques that allow a model owner to manage the life cycle of their system, e.g., to patch or retire their ML system. Put altogether, our systematization of knowledge standardizes the interactions between principals involved in the deployment of ML throughout its life cycle. We highlight opportunities for future work, e.g., to formalize the resulting game between ML principals.

研究の動機と目的

• プライバシー侵害、偏った予測、誤情報、整合性の欠如といった、機械学習が引き起こす社会的リスクの増大に対処する。
• MLセキュリティおよびプライバシー分野の既存研究を体系化し、責任あるML導入のための標準化されたガバナンスモデルを構築する。
• モデル所有者が所有権を立証し、失敗に対して責任を問われ、システム動作の検証可能な保証を提供する仕組みを確立する。
• パッチ適用、更新、廃止を含むライフサイクル管理技術を通じて、動的モデル管理を可能にする。
• モデル所有者、ユーザー、規制当局の間の相互作用をスタックルベルクゲームとして形式化し、リスクと利益のトレードオフおよび責任の所在をモデル化する。

提案手法

• モデルおよび学習データの所有権を明確に付与するため、MLシステムにおける「アイデンティティ」の概念を導入する。
• アイデンティティに基づく帰属付けにより、開発者や最終ユーザーを含む特定の当事者に、モデルの失敗に対する責任を割り当てる。
• 訓練および導入中に収集された検証可能な証拠を統合することで、以前未知の障害を検出および帰属付けるための監査メカニズムを開発する。
• プライバシー保証（例：微分プライバシー）、耐性検査、検証可能なトレーニングログなどの保証技術を調査・統合する。
• パッチ適用、動作変更、廃止を含むモデルの更新を可能にするライフサイクル管理メカニズムを提案する。特に、機械的アンダーラーニングの課題にも言及する。
• 主な当事者間のガバナンス相互作用をスタックルベルクゲームとして形式化し、戦略的相互作用と均衡状態を明確にする。

実験結果

リサーチクエスチョン

• RQ1 MLシステムにおいて、責任を問うために、モデルおよびデータ所有権を形式的に確立する方法は何か？
• RQ2 外部監査機関も含め、特定の当事者（開発者、ユーザーなど）にモデル障害を信頼性高く帰属付ける仕組みは何か？
• RQ3 モデル所有者が、導入前にシステムがセキュリティおよび公平性要件を満たしていることを検証可能な形で保証するには、どのような技術的・手続的メカニズムが必要か？
• RQ4 導入後の動的モデル更新、パッチ適用、廃止を支援するための技術的・手続的メカニズムは何か？
• RQ5 モデル所有者、ユーザー、規制当局の間の戦略的相互作用をどのようにモデル化し、MLのリスクと利益のバランスをとれるか？

主な発見

• 所有権とアイデンティティは、MLシステムにおける責任の根幹をなす。失敗の責任を割り当てるには、偽造不能な所有権主張が不可欠である。
• 訓練および導入中に収集された検証可能な証拠を統合することで、帰属付けと監査による責任の強化が可能になる。
• 微分プライバシーおよび耐性検査などの保証技術は、形式化および文書化することで信頼を築けるが、しばしば後から適用される。
• モデルの更新、アンダーラーニング、廃止を可能にするライフサイクル管理は、長期的ガバナンスにとって不可欠であるが、特に動作変更の分野では未だ未発達である。
• 提案されたスタックルベルクゲームモデルは、当事者間の戦略的相互作用を形式化し、MLの利益とリスクのバランスを取る均衡状態を同定する。
• 技術的進歩（例：微分プライバシー）と法的枠組み（例：匿名化）の間には顕著なギャップがあり、これが責任あるML実践の実用的導入を妨げている。