[論文レビュー] Adapting SQuaRE for Quality Assessment of Artificial Intelligence Systems

Hiroshi Kuwajima, Fuyuki Ishikawa|arXiv (Cornell University)|Jul 31, 2019

Adversarial Robustness in Machine Learning参考文献 8被引用数 4

ひとこと要約

この論文は、信頼性のあるAIのための欧州委員会の倫理的ガイドラインからの原則を統合することで、機械学習ベースのAIシステムの品質評価のためのISO/IEC SQuaREフレームワークを適応させたものである。SQuaREの品質特性および準特性に対する主要な更新を特定し、特に再現性を包含する信頼性の拡張、プライバシーの準特性としての追加、およびメタレベルでの責任の所在を導入することで、従来のソフトウェアメトリクスをはるかに超える包括的なAIシステム品質の評価を可能にした。

ABSTRACT

More and more software practitioners are tackling towards industrial applications of artificial intelligence (AI) systems, especially those based on machine learning (ML). However, many of existing principles and approaches to traditional systems do not work effectively for the system behavior obtained by training not by logical design. In addition, unique kinds of requirements are emerging such as fairness and explainability. To provide clear guidance to understand and tackle these difficulties, we present an analysis on what quality concepts we should evaluate for AI systems. We base our discussion on ISO/IEC 25000 series, known as SQuaRE, and identify how it should be adapted for the unique nature of ML and $ extit{Ethics guidelines for trustworthy AI}$ from European Commission. We thus provide holistic insights for quality of AI systems by incorporating the ML nature and AI ethics to the traditional software quality concepts.

研究の動機と目的

• 機械学習ベースのAIシステムに特化した品質評価フレームワークの増大するニーズに対応する。これは、設計および動作の面で従来のソフトウェアとは根本的に異なる。
• 機械学習部品のブラックボックス的・データ駆動的特性のため、既存のSQuaREフレームワークをAIシステムに適用する際に生じるギャップを特定する。
• 信頼性のあるAIのための欧州委員会の倫理的ガイドラインからの倫理的要件をSQuaREに統合し、実世界のAI応用への関連性を高める。
• 産業界の実務家がAIシステムの品質を包括的に評価できるように、SQuaREの品質モデルに対する実行可能な概念的更新を提供する。
• AI開発における内部品質要因（データキュレーション、モデルトレーニング、ランタイム監視など）に関する今後の研究の基盤を築く。

提案手法

• ISO/IEC 25000 SQuaREフレームワークと欧州委員会の信頼性のあるAIのための倫理的ガイドラインとの間で比較分析を実施する。
• 機械学習ベースのAIシステムに適用した場合のSQuaREの品質特性および準特性の妥当性と完全性を評価する。
• 機械学習固有の特徴（例：説明可能性の欠如、パラメータ駆動の動作）によって無効化されるSQuaREの概念を特定し、必要な修正を提案する。
• 特に公平性、説明可能性、責任、プライバシーを含む倫理的要件を、倫理的ガイドラインからSQuaREの階層的構造にマッピングする。
• 新たな準特性（例：信頼性の下位に「再現性」、セキュリティの下位に「プライバシー」）およびメタレベルの考慮事項（例：責任のための監査トレース性とトレーサビリティ）を提案する。
• 木構造の分析を用いて、倫理的準要件をSQuaREの品質モデルに一致させ、トレーサビリティと拡張性を保証する。

実験結果

リサーチクエスチョン

• RQ1 機械学習のブラックボックス的・データ駆動的特性が、従来のSQuaREの品質特性の適用をどのように無効化または制限するのか。
• RQ2 欧州委員会の信頼性のあるAIのための倫理的ガイドラインにおけるどの品質的側面が、現在のSQuaREフレームワークに欠落しているか、または不十分に表現されているか。
• RQ3 公平性、説明可能性、再現性といった機械学習固有の品質的側面および倫理的側面を含めるために、SQuaREの品質モデルをどの程度変更する必要があるか。
• RQ4 SQuaREのコア構造を大幅に見直さずに、責任および監査可能性をどのように意味的に統合できるか。
• RQ5 既存のSQuaREの品質測定値が、正確性や信頼性をはるかに超えるAIシステム品質の評価をどの程度サポートするか。

主な発見

• 現在のSQuaREフレームワークは、説明可能性の欠如やトレーニングデータへの感受性といった、機械学習ベースのAIシステムに特有の品質課題を十分に扱っていない。
• 機械学習におけるランダムネスやハイパーパrameterへの感受性のため、再現性は極めて重要であるが、SQuaREには明示的にカバーされておらず、信頼性の下位に準特性として追加すべきである。
• プライバシーはセキュリティの準特性から昇格し、製品品質モデルにおける第一級の品質準特性として位置づけるべきである。これはその重要性が高まっているためである。
• 倫理的ガイドラインにおける「責任」要件はSQuaREでは直接サポートされておらず、監査トレースや意思決定の文書化といったメタレベルの配慮が必要である。
• SQuaREの準特性「トレーサビリティ」はAIシステムには不十分である。アルゴリズム意思決定のログ記録およびプロバンス追跡を含む再解釈が必要である。
• 倫理的ガイドラインの7つの主要要件の多くがSQuaREでは完全にカバーされていないため、信頼性のあるAIに対する現在のソフトウェア品質基準には顕著なギャップがある。