[論文レビュー] Trustworthy AI

Jeannette M. Wing|arXiv (Cornell University)|Feb 14, 2020

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

この論文は、信頼性の低いAIと不平等なAIの問題に対処するために、信頼性のあるコンピューティングの原則をAIに適応することで、信頼性のあるAIのフレームワークを提唱する。形式的検証を信頼性、公平性、耐性の確保のためのコアな手法として提唱し、信頼性のあるAIを形式的検証の延長と位置づけ、AIシステムにおける検証と検査の分野に新たな研究課題を提示する。

ABSTRACT

The promise of AI is huge. AI systems have already achieved good enough performance to be in our streets and in our homes. However, they can be brittle and unfair. For society to reap the benefits of AI systems, society needs to be able to trust them. Inspired by decades of progress in trustworthy computing, we suggest what trustworthy properties would be desired of AI systems. By enumerating a set of new research questions, we explore one approach--formal verification--for ensuring trust in AI. Trustworthy AI ups the ante on both trustworthy computing and formal methods.

研究の動機と目的

• AIの導入に伴うシステム的リスクに対処するために、信頼性のあるコンピューティングの原則をAIに適応させることで、信頼性のあるAIの基盤を確立すること。
• 信頼性、公平性、耐性といった、社会的信頼を得るためのAIシステムが満たすべき主要な信頼性特性を特定すること。
• 多様な条件下でAIシステムが望ましい動作を示すことを保証するため、形式的検証を中心的な手法として位置づけること。
• 形式的検証とAIの交差分野に新たな研究課題を定義し、従来のソフトウェアを越えた検証の範囲を拡張すること。
• 信頼性のあるAIを、形式的検証と信頼性のあるコンピューティングの両分野の基準を引き上げる重要な進歩として位置づけること。

提案手法

• 信頼性のあるコンピューティングの原則（正しさ、可用性、整合性など）をAIシステムの文脈に適応すること。
• AIモデルやシステムの望ましい特性を数学的に証明するための厳密な技術として、形式的検証を提唱すること。
• エッジケース、敵対的入力、分布シフトなどの条件下での挙動を検証するために、形式的技法をAI開発ライフサイクルに統合すること。
• 抽象化と構成的推論を用いて、ニューラルネットワークのような学習ベースのコンponentsに対しても形式的検証を拡張すること。
• 公平性、耐性、説明可能性といった要件を、機械学習モデルに組み込むために形式的仕様を用いること。
• スケーラブルな検証技術が求められる、複雑でデータ駆動型のシステムに焦点を当てた、形式的技法とAIをつなぐ研究アジェンダを策定すること。

実験結果

リサーチクエスチョン

• RQ1 社会的信頼を得るために、AIシステムが優先すべき信頼性特性（公平性、耐性、信頼性など）は何であるか？
• RQ2 深層ニューラルネットワークのような学習ベースのAIコンponentsを検証するために、形式的検証をどのように適応できるか？
• RQ3 現代のAIシステムに内在する非決定性とデータ依存性に対処するため、どのような新しい検証技法が必要か？
• RQ4 形式的技法をAI開発ライフサイクルの全段階に統合することで、エンドツーエンドの信頼性を確保するにはどうすればよいか？
• RQ5 現在の形式的検証アプローチがAIに適用された際の限界は何か、そしてそれらをどのように克服できるか？

主な発見

• 信頼性のあるAIは、一般化や分布シフトといった学習ベースのシステムに特有の課題に対処するため、形式的検証技法を拡張する必要がある。
• 形式的検証はAIの挙動に関する数学的保証を提供でき、医療や自動運転のような安全が重要な応用分野での信頼を高める。
• AI開発への形式的技法の統合は、特にスケーラビリティと複雑なモデルの仕様作成の面で、新たな研究課題を生じさせる。
• 信頼性のあるAIは、信頼性のあるコンピューティングと形式的検証の両分野の基準を引き上げ、新たな理論的・実用的進歩を要請する。
• 公平性や耐性といったAI固有の特性を効果的に捉えるため、従来のソフトウェア仕様では容易に表現できない、AI専用の形式的仕様言語の開発が急務であると同定された。
• このフレームワークは、形式的検証を事後的なチェックではなく、信頼性のあるAIシステム設計の基盤的要素として位置づけている。