[論文レビュー] ABOUT ML: Annotation and Benchmarking on Understanding and Transparency of Machine Learning Lifecycles

Inioluwa Deborah Raji, Jingying Yang|arXiv (Cornell University)|Dec 12, 2019

Scientific Computing and Data Management参考文献 19被引用数 23

ひとこと要約

ABOUT MLプロジェクトは、機械学習のライフサイクル全体にわたり透明性と説得責任を高めるために、標準化され共同で作られるフレームワークを提案する。構造化されたドキュメントテンプレート、ステーキホルダーによる多様な参加者によるレビュー（ステアリングコミッティおよびダイバースボイスパネルを通じて）、公開コメントと反復プロセスを組み合わせることで、産業界および研究分野における実用的でスケーラブルな透明性基準を実現することを目的としている。

ABSTRACT

We present the "Annotation and Benchmarking on Understanding and Transparency of Machine Learning Lifecycles" (ABOUT ML) project as an initiative to operationalize ML transparency and work towards a standard ML documentation practice. We make the case for the project's relevance and effectiveness in consolidating disparate efforts across a variety of stakeholders, as well as bringing in the perspectives of currently missing voices that will be valuable in shaping future conversations. We describe the details of the initiative and the gaps we hope this project will help address.

研究の動機と目的

• 機械学習システムにおける一貫性があり実行可能な透明性の実践が、倫理的原則としての透明性の広範な支持にもかかわらず、依然として不足しているという問題に対処すること。
• 産業界、政府、市民社会における散在する透明性の取り組みを統合し、統一的で標準化されたドキュメンテーションフレームワークにまとめる。
• 特にマイノリティコミュニティからの声が、透明性基準の策定に意味的に組み込まれるよう、専用のフィードバックメカニズムを通じて、代表されにくい声を含める。
• 透明性を実務的に運用可能にするための実用的でワークフローに統合されたソリューションを提供し、多様なチームや組織における導入障壁を低減すること。
• 新規の研究、政策動向、実世界の実装フィードバックに応じて進化し続ける、生き永らえる標準化されたMLドキュメンテーションフレームワークを確立すること。

提案手法

• データ、モデルの挙動、リスク、制限に関する主要情報を捉えるために、栄養成分表示に類似した標準化されたMLシステム用ドキュメントテンプレートを開発する。
• 30名の多様な組織からなる専門家によるステアリングコミッティを設置し、改訂とリリースの承認を指揮する、マルチステーキホルダーのガバナンスモデルを導入する。
• ワシントン大学のテックポリシー研究所と共同で開発されたダイバースボイスパネルを統合し、AI意思決定から排除されがちなコミュニティからのフィードバックを収集する。
• 各リリースの前に、一般コミュニティからのフィードバックを反映させるために、公開コメント期間と「だいたい合意」プロセスを用いる。
• 反復的かつバージョン管理されたリリースプロセス（例：レビュー中のリリース0、2020年初頭に予定されるリリース1）として構造化し、継続的な改善を確保する。
• GDPR、FCRA、ECOA、および企業のAI原則など、既存の規制および産業慣行と整合させることで、フレームワークの関連性と採用可能性を保証する。

実験結果

リサーチクエスチョン

• RQ1 多様な組織やワークフローにおいて、機械学習における透明性を実務的でスケーラブルかつ一貫性のある実践としてどのように実現できるか。
• RQ2 マイノリティや代表されにくいコミュニティが、MLの透明性基準開発に意味的に貢献できる仕組みとは何か。
• RQ3 標準化されたドキュメンテーションフレームワークは、MLシステムの展開と監査における曖昧さをどのように低減し、説得責任を向上させられるか。
• RQ4 信頼性と透明性を支援する包括的で実行可能で人間が読みやすいMLドキュメンテーションテンプレートの主要構成要素は何か。
• RQ5 新規の研究や政策動向に応じて継続的にフィードバックを受け、適応する仕組みを持つ、生き永らえる標準化されたMLドキュメンテーション標準をどのように維持できるか。

主な発見

• 50件のAI原則文書を調査した結果、94％が透明性を明確に言及しており、AIガバナンスにおける最も頻出する倫理的原則であることが確認された。
• 透明性が不可欠であると広く認識されているにもかかわらず、高水準の原則を具体的で実行可能なドキュメンテーション実践に変換するためのギャップが依然として存在する。
• ABOUT MLは、30名の多様な専門家からなるステアリングコミッティを設立し、ダイバースボイスパネルからのフィードバックを統合することで、包括的な標準開発を推進している。
• プロジェクトは、公開コメントフェーズを含む反復的かつバージョン管理されたリリースプロセスとして構造化されており、2020年初頭に正式な推奨事項を含むリリース1を予定している。
• フレームワークは、ドキュメンテーションを静的アーティファクトとしてとらえるのではなく、MLライフサイクル全体を通じて批判的思考と倫理的自己点検を促進する動的なプロセスとして位置づけている。
• 知的財産権、情報セキュリティ、カスタマイズのニーズといった主要な課題に対処しながら、透明性を説得責任の基盤的メカニズムとして促進している。