[論文レビュー] Estimating the Brittleness of AI: Safety Integrity Levels and the Need for Testing Out-Of-Distribution Performance

Andrew J. Lohn|arXiv (Cornell University)|Sep 1, 2020

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

この論文は、特に深層ニューラルネットワークを含むAIシステムが、航空、原子力、自動車産業における安全基準を厳しく求められるシステムと比較して著しく壊れやすく、その意図した分布内でも失敗率が桁違いに高いことを主張している。また、分布外（OOD）性能における安全整合性レベル（SIL）の統合を提言し、高リスク分野への適用を可能にするために、分布内テストを超えたAIの頑健性に関する体系的評価の必要性を強調している。

ABSTRACT

Test, Evaluation, Verification, and Validation (TEVV) for Artificial Intelligence (AI) is a challenge that threatens to limit the economic and societal rewards that AI researchers have devoted themselves to producing. A central task of TEVV for AI is estimating brittleness, where brittleness implies that the system functions well within some bounds and poorly outside of those bounds. This paper argues that neither of those criteria are certain of Deep Neural Networks. First, highly touted AI successes (eg. image classification and speech recognition) are orders of magnitude more failure-prone than are typically certified in critical systems even within design bounds (perfectly in-distribution sampling). Second, performance falls off only gradually as inputs become further Out-Of-Distribution (OOD). Enhanced emphasis is needed on designing systems that are resilient despite failure-prone AI components as well as on evaluating and improving OOD performance in order to get AI to where it can clear the challenging hurdles of TEVV and certification.

研究の動機と目的

• 航空、原子力、自動車制御などの重要なシステムで求められる厳しい安全基準と、現在のAIの信頼性との間にある不一致を特定すること。
• 画像分類や音声認識などの最先端AIモデルの分布内性能でさえ、安全基準を満たすソフトウェアに比べて、桁違いに信頼性が低いことを示すこと。
• AIシステムがOOD条件下で急激に失敗するのではなく、徐々に劣化することを主張し、失敗境界が明確でないという仮定に疑問を呈すること。
• 分布外性能に基づいてAIコンponentsに安全整合性レベル（SIL）を割り当てるフレームワークを提言すること。これには、分布のずれを定性的・定量的に測る指標を含む。
• 高リスク分野への展開・認証を支援するため、体系的なOODテストと性能評価の必要性を強調すること。

提案手法

• 航空機や原子力発電所で使用される安全基準を満たすシステムの信頼性基準と、最先端AIモデル（例：Deep Speech 2、画像分類器）の失敗率を比較すること。
• 語彙誤り率（WER）や分類精度といった定量的指標を用いて、分布内および徐々に分布外に逸脱するデータ分布におけるモデル性能を評価すること。
• 分布シフトの安全性評価のための定性的OOD深刻度レベル（分布内、近接分布、多少のOOD、遠方OOD、極めて遠方OOD）を導入すること。
• 統計的距離（例：カルバック・ライブラー発散、マハラノビス距離）を用いて分布のずれを定量化することを提言するが、定性的な評価の方が実用的である可能性を認めること。
• 自動車分野で用いられる従来のSILフレームワークを拡張し、OOD性能要件を含める。失敗率はOODに遭遇する頻度と深刻度と関連付ける。
• 実際のOODサンプルと人工的に生成されたOODサンプルを用いて、分布シフト下でのモデルの頑健性を実証的に推定するよう提言すること。

実験結果

リサーチクエスチョン

• RQ1 最先端AIモデルの失敗率は、安全基準を満たすシステムで求められる信頼性基準と比べて、分布内条件でもどの程度高いのか？
• RQ2 AI性能は、分布外入力が徐々に増加するにつれて、急激に劣化するのではなく、滑らかに劣化するのか？
• RQ3 定性的または概念的なOOD深刻度レベル（例：近接分布、遠方OOD）を用いて、AIコンponentsの安全整合性レベルを意味的に定義できるのか？
• RQ4 実世界の展開状況において、OOD入力の頻度と深刻度を推定するのに最も効果的な指標や手法は何か？
• RQ5 既存の認証フレームワークは、重要分野におけるAIシステムのOOD性能評価を組み込むために、どのように適合できるか？

主な発見

• Deep Speech 2 や画像分類器といった最先端AIモデルは、意図した分布内データでテストされた場合でも、認証済みの安全基準を満たすシステムと比較して、失敗率が桁違いに高いことが判明した。
• 最も分布内に近いテストデータセットにおいて、Deep Speech 2 は10％未満の語彙誤り率（WER）を達成したが、これは印象的ではあるが、認証ソフトウェアで一般的な0.1％未満の失敗率と比べて依然として著しく高い。
• アクセントの強い発音、ノイズの多い音声、歪んだ画像といったOOD入力に対する性能劣化は、徐々でかつ人間の性能と同程度の規模であり、急激な失敗とは言えなかった。
• 人間は、特に強いアクセントや高ノイズの状況（極めて困難なOOD分布）においてAIを上回った。これは、AIが分布シフトに対して人間ほど頑健ではないことを示している。
• 本研究では、OOD性能の劣化が滑らかで予測可能な低下に従うことが判明し、AIシステムが学習分布を超えて部分的な機能を維持できる可能性があることを示唆した。
• 著者らは、OOD性能を体系的に評価する必要があり、また、OOD耐性を組み込んだ新しいSILフレームワークが、重要分野におけるAI認証に不可欠であると結論づけた。