[論文レビュー] Arguing Machines: Human Supervision of Black Box AI Systems That Make Life-Critical Decisions

Lex Fridman, Li Ding+2 more|arXiv (Cornell University)|Oct 12, 2017

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本論文は、主なブラックボックスAIシステムと、別々に訓練された第二のAIシステムを組み合わせることで、リスクの高い意思決定を示す不一致を検出する「アーギューミング・マシンズ」フレームワークを提案する。不一致がしきい値を超えると、人間の監視が発動され、誤り率が低下する。ImageNetではトップ5誤り率が65%削減され、テスラオートパイLOTのデータでは困難な分離事象の90.4%を予測した。

ABSTRACT

We consider the paradigm of a black box AI system that makes life-critical decisions. We propose an "arguing machines" framework that pairs the primary AI system with a secondary one that is independently trained to perform the same task. We show that disagreement between the two systems, without any knowledge of underlying system design or operation, is sufficient to arbitrarily improve the accuracy of the overall decision pipeline given human supervision over disagreements. We demonstrate this system in two applications: (1) an illustrative example of image classification and (2) on large-scale real-world semi-autonomous driving data. For the first application, we apply this framework to image classification achieving a reduction from 8.0% to 2.8% top-5 error on ImageNet. For the second application, we apply this framework to Tesla Autopilot and demonstrate the ability to predict 90.4% of system disengagements that were labeled by human annotators as challenging and needing human supervision.

研究の動機と目的

• 誤りの許容範囲が極めて小さい生命懸けの応用にブラックボックスAIシステムを導入する課題に対処すること。
• 主なAIシステムの内部アーキテクチャや学習データにアクセスせずに、システム誤りを低減すること。
• 二つの別々に訓練されたAIシステム間の不一致を人間の介入シグナルとして用いる、人間を含むループフレームワークを開発すること。
• 高リスク意思決定結果を伴う現実世界の準自動走行シナリオで、このフレームワークを検証すること。
• 二つの不透明なシステム間の不一致が、人間の監視を要するエッジケースを信頼性高く示すことができることを示すこと。

提案手法

• 主なブラックボックスシステムと同じタスクを、データやアーキテクチャの詳細を共有せずに、別々に訓練した第二のAIシステムを訓練する。
• 1秒間の連続予測の範囲で、正規化された差分関数を用いて二つのシステムの出力間の不一致を測定する。
• 不一致がこのレベルを超えると人間監視を発動するための事前定義されたしきい値δを設定する。
• 不一致検出システムの評価に、バイナリ分類指標（誤って受容する割合：FAR、誤って拒否する割合：FRR）を用いる。
• ジェットソンTX2を用いて、テスラ・モデルS上でリアルタイムにシステムをデプロイし、ライブ映像入力、ニューラルネットワーク推論、リアルタイムでの不一致アラート表示を実現する。
• 両システムからのステアリング予測値を[−1,1]に正規化し、30フレーム（1秒）の累積不一致を計算してエッジケースを検出する。

実験結果

リサーチクエスチョン

• RQ1 二つの別々に訓練されたAIシステム間の不一致は、高リスクで生命にかかわる意思決定を特定する信頼性のあるシグナルとして機能するか？
• RQ2 この不一致に基づく監視メカニズムは、主なAIシステムの内部構造にアクセスせずに、全体のシステム誤り率を低減できるか？
• RQ3 不一致検出は、現実世界の準自動走行において、困難な分離事象をどの程度正確に予測できるか？
• RQ4 不一致のしきい値δが、人間監視の頻度とシステム誤り率のトレードオフにどのように影響するか？
• RQ5 このフレームワークは、低遅延かつ高信頼性を要するリアルタイムの走行環境に効果的にデプロイ可能か？

主な発見

• アーギューミング・マシンズフレームワークは、ResNet-50モデルに適用した際、ImageNetのトップ5誤り率を8.0%から2.8%に低下させ、相対的に65%の改善を達成した。
• 本システムは、人間アノテーターが「難しい」または人間監視を要するとラベル付けしたテスラオートパイLOTデータの分離事象について、90.4%の予測精度を達成した。
• 最適な不一致しきい値δ = 10は、誤って受容する割合と誤って拒否する割合を効果的にバランスさせ、平均誤り率0.096を達成した。
• リアルタイムの走行環境でのデプロイでは、カメラ入力からGUIの更新まで200ミリ秒未満の遅延を達成し、動的走行状況での実現可能性を示した。
• 夕方のラッシュアワー走行テスト中に、複数の困難な走行状況が検出され、視覚的アラートがドライバの注意喚起に寄与した。
• モデルの内部構造を知らなくても、不一致シグナルそのものが、システムの安全性とパフォーマンスを顕著に向上させるのに十分であった。