[論文レビュー] Uncertainty Aware AI ML: Why and How

Lance Kaplan, Federico Cerutti+3 more|arXiv (Cornell University)|Sep 20, 2018

Bayesian Modeling and Causal Inference参考文献 12被引用数 17

ひとこと要約

本稿では、主観的ベイジアンネットワークと証拠神経ネットワークを統合することで、予測における不確実性を定量化し、コミュニケーション可能にする不確実性対応型AI/MLシステムを提案する。これにより、軍事的ルート計画のような高リスク・データが乏しい状況において、人間の意思決定者がリスクを評価し適切に対応できるようになる。主な貢献は、レアイベントや分布外入力による低信頼度の推論を特定するフレームワークであり、必要に応じて人間の専門家が介入できるようにする。

ABSTRACT

This paper argues the need for research to realize uncertainty-aware artificial intelligence and machine learning (AI\&ML) systems for decision support by describing a number of motivating scenarios. Furthermore, the paper defines uncertainty-awareness and lays out the challenges along with surveying some promising research directions. A theoretical demonstration illustrates how two emerging uncertainty-aware ML and AI technologies could be integrated and be of value for a route planning operation.

研究の動機と目的

• 訓練データとは著しく異なるテストデータにおける不確実性を効果的に評価・コミュニケーションできるAI/MLシステムの開発に、特に「未知の未知」を含むオープンワールド環境において、その重要性に対応すること。
• 低レベルのML（ニューラルネットワーク）と高レベルのAI（確率的推論）の両方が不確実性に配慮できる階層的AI&MLアーキテクチャの開発。
• データの乏しさや分布外入力といった不確実性の原因を説明することで、人間の意思決定者がAIの出力を信頼できるようにすること。
• 動的かつ不確実な条件下でのルート計画のような現実世界のシナリオにおいて、不確実性対応型システムの価値を実証すること。
• 技術的課題と有望な研究方向性を特定することで、将来的な不確実性対応型AI分野の研究基盤を築くこと。

提案手法

• 高レベルのAIレイヤーに主観的ベイジアンネットワークを統合し、不確実な条件付き確率を用いて潜在変数の主観的意見（不確実な確率）を推論する。
• ニューラルネットワークを訓練し、点推定ではなく、解釈可能な主観的意見（信念、妥当性、ベースレート）を出力させる。これにより不確実性の定量化が可能になる。
• ニューラルネットワークの出力を証拠として用い、主観的ベイジアンネットワークに統合することで、意思決定モデル全体に不確実性を伝搬する。
• 不確実性が訓練データが乏しいことや、モデルが誤分類するようなレアな出来事（例：同期された儀礼的ダンス）に起因するルート計画のシナリオに、統合されたシステムを適用する。
• モデルの信頼度が低い場合に、特にレアまたは曖昧な入力の際には明確なアラートを発して人間のオペレータに不確実性を伝える。
• 人間が介入することで不確実性を解消する。例として、儀礼的ダンスを「黒きスイアン」的出来事として脅威と解釈する場合がある。

実験結果

リサーチクエスチョン

• RQ1 テストデータが訓練データと著しく異なる状況において、AI/MLシステムがどのように不確実性を効果的に定量化できるか。
• RQ2 ニューラルネットワークと確率的推論システムの両方が、人間が解釈可能な形で不確実性を表現できる技術的手法は何か。
• RQ3 階層的AI&MLシステムにおける不確実性の伝搬が、高リスク・オープンワールド環境における意思決定をどのように改善するか。
• RQ4 レアな出来事や分布外の入力に直面した場合、不確実性対応型システムが、誤った意思決定のリスクをどのように低減できるか。
• RQ5 人間の意思決定者が上位の推論を行い、的確な介入を可能にするために、不確実性をどのようにコミュニケーションすべきか。

主な発見

• 市民センターの参加者が通常時である場合、ルートCの不確実性が増加する。これは、モデルがこの異常な設定の訓練例を欠いているためであり、ルートは依然として危険と見なされる。
• マーケットプレイスでの暴力検出にニューラルネットワークが高信頼度を示すと、ルートAおよびBの不確実性が増加する。これは、通常の市民参加状況下ではこのような出来事が起こりにくいことを示しており、稀または分布外の状況である可能性を示唆する。
• ニューラルネットワークによる活動分類の不確実性が、ルートAおよびBの主観的意見に直接影響を与える。これは、モデルの不確実性が意思決定システム全体に伝搬されることを示している。
• システムは、同期ダンスを儀礼的行動として「黒きスイアン」的出来事として識別し、不確実性を信号として発し、人間による調査を促し、より安全な運用計画の見直しに繋げた。
• 指揮官は、不確実性が増加しているが安全確率が高いルートA（高リスク）を選択するか、重装甲支援を採用する。これは、不確実性がリスク認識型意思決定を可能にする例である。
• 証拠神経ネットワークと主観的ベイジアンネットワークの統合により、データの乏しさやモデルの誤分類といった不確実性の原因を説明可能にし、人間の信頼性と状況認識を向上させた。