[論文レビュー] Opening the Software Engineering Toolbox for the Assessment of Trustworthy AI

Mohit Kumar Ahuja, Mohamed-Bachir Belaid+8 more|arXiv (Cornell University)|Jul 14, 2020

Adversarial Robustness in Machine Learning参考文献 24被引用数 6

ひとこと要約

この論文は、信頼性のあるAIの評価に、既存のソフトウェア工学的手法——特にテスト、要件分析、自動監視——を統合することを提唱している。著者たちは、EUのAI HLEGが提唱する信頼性の7つの主要要件を、既存のソフトウェア工学技術にマッピングすることで、ソフトウェア工学のツールボックスが、システマティックで繰り返し可能かつステークホルダーがアクセス可能な方法でAIシステムの信頼性を評価する成熟した、スケーラブルで適応可能な基盤を提供していることを示している。

ABSTRACT

Trustworthiness is a central requirement for the acceptance and success of human-centered artificial intelligence (AI). To deem an AI system as trustworthy, it is crucial to assess its behaviour and characteristics against a gold standard of Trustworthy AI, consisting of guidelines, requirements, or only expectations. While AI systems are highly complex, their implementations are still based on software. The software engineering community has a long-established toolbox for the assessment of software systems, especially in the context of software testing. In this paper, we argue for the application of software engineering and testing practices for the assessment of trustworthy AI. We make the connection between the seven key requirements as defined by the European Commission's AI high-level expert group and established procedures from software engineering and raise questions for future work.

研究の動機と目的

• 実世界の応用において、信頼性のあるAIの評価を体系的で繰り返し可能かつ透明性のあるものとする急増するニーズに対応すること。
• 現代のAIシステムが引き起こす独自の課題、特に公平性、責任性、解釈可能性の分野において、現在のソフトウェア工学的手法との間のギャップを特定すること。
• 要件分析、自動テスト、監視などのソフトウェア工学手法を、信頼性のあるAI開発のライフサイクルに統合するフレームワークを提言すること。
• 標準化された、数量的評価指標およびバッジを用いることで、非専門家を含むステークホルダーが信頼性のあるAIを評価し理解できるようにすること。

提案手法

• EU AI HLEG指針の7つの主要な信頼性要件を、要件工学、コードレビュー、テストケース設計などの対応するソフトウェア工学手法にマッピングすること。
• 技術的耐性、特に敵対的入力への耐性およびエッジケースにおけるモデル挙動を評価するために、自動テスト技術を適用すること。
• 公平性や責任性といった抽象的な信頼性の原則を、チェックリストおよび形式化された受容基準として定義し、検証可能な条件に変換すること。
• コードとデータのレビュー、リトロスペクティブ会議、インストルメンテッドログを活用して、開発中の継続的監視を統合し、信頼性指標を追跡すること。
• 信頼性評価結果を要約するスコアリングまたはバッジ制度を提言し、多様なステークホルダー間での比較可能性と透明性を向上させること。
• ブロックチェーン技術を、AIシステムにおけるデータ所有権、監査可能性、責任性を支援する可能性のあるメカニズムとして活用すること。

実験結果

リサーチクエスチョン

• RQ1 EU AI HLEGが定義するAIの信頼性を、既存のソフトウェア工学的手法で効果的に評価できるか。
• RQ2 自動テストおよび監視ツールは、公平性、耐性、責任性といった非機能的AI特性をどの程度評価できるか。
• RQ3 現代のAIの特徴、特にブラックボックスモデルやデータ駆動型挙動を踏まえた場合、現在のソフトウェア工学ツールキットに必要な調整は何か。
• RQ4 非技術的ステークホルダー、特にエンドユーザーおよび規制当局が理解できる形で、信頼性評価の結果をどのように可視化・解釈可能にするか。
• RQ5 標準化されたスコアリングまたは認証メカニズム（例：バッジ）は、AIシステム間の比較可能性を高め、AIに対する信頼をどのように促進できるか。

主な発見

• 特にテスト、要件分析、監視に焦点を当てたソフトウェア工学のツールボックスは、信頼性のあるAIを評価する成熟した、再利用可能な基盤を提供する。
• 技術的耐性や公平性といった多くの信頼性要件は、自動テストケースおよび敵対的入力生成によって評価可能である。
• 信頼性基準をチェックリストおよび検証可能な受容基準として形式化することで、評価の再現性が向上し、曖昧さが低減される。
• コードとデータのレビュー、およびリトロスペクティブ評価を活用した継続的監視により、開発中の信頼性の意識と改善が継続的に促進される。
• 標準化されたスコアリングまたはバッジ制度は、異なるAIシステムおよびステークホルダー間での信頼性評価の透明性と比較可能性を向上させる可能性を有する。
• ブロックチェーンベースのシステムは、個人データおよび同意管理を含む状況において、データ所有権と責任性を実現する可能性を示している。