[論文レビュー] Explainable AI for Intelligence Augmentation in Multi-Domain Operations

Alun Preece, Dave Braines+2 more|arXiv (Cornell University)|Oct 16, 2019

Explainable Artificial Intelligence (XAI)参考文献 23被引用数 6

ひとこと要約

本論文は、多分野作戦における知能補強を向上させるために、段階的な説明可能なAIフレームワークを提案する。このフレームワークにより、AI意思決定における追跡可能性、根拠、保証性を実現し、信頼できる人間・機械の連携を可能にする。本研究では、密度の高い都市戦のような複雑で敵対的な環境において、説明可能なAIが迅速かつ柔軟な連合意思決定を支援する仕組みを示している。

ABSTRACT

Central to the concept of multi-domain operations (MDO) is the utilization of an intelligence, surveillance, and reconnaissance (ISR) network consisting of overlapping systems of remote and autonomous sensors, and human intelligence, distributed among multiple partners. Realising this concept requires advancement in both artificial intelligence (AI) for improved distributed data analytics and intelligence augmentation (IA) for improved human-machine cognition. The contribution of this paper is threefold: (1) we map the coalition situational understanding (CSU) concept to MDO ISR requirements, paying particular attention to the need for assured and explainable AI to allow robust human-machine decision-making where assets are distributed among multiple partners; (2) we present illustrative vignettes for AI and IA in MDO ISR, including human-machine teaming, dense urban terrain analysis, and enhanced asset interoperability; (3) we appraise the state-of-the-art in explainable AI in relation to the vignettes with a focus on human-machine collaboration to achieve more rapid and agile coalition decision-making. The union of these three elements is intended to show the potential value of a CSU approach in the context of MDO ISR, grounded in three distinct use cases, highlighting how the need for explainability in the multi-partner coalition setting is key.

研究の動機と目的

• 分散的で複数パートナーフレームワークを有するISRシステムが直面する動的な敵対的環境において、強固で説明可能なAIを実現するという課題に対処する。
• 説明可能性に重点を置くことで、AI駆動のデータ分析と人間の意思決定のギャップを埋め、AI出力に対する信頼と自信を築く。
• 説明可能なAIを活用して、共同作戦、機関間、多国間チーム間で迅速かつ柔軟かつ相互運用可能な意思決定を支援する、連合状況理解（CSU）を実現する。
• システム運用者、意思決定者、監査者といった多様なステークホルダーに適合した段階的説明フレームワークを開発し、透明性、根拠、方針整合性を確保する。
• 実世界のMDOユースケースにおける説明可能なAIの実用的価値を実証する：人間・機械連携、密度の高い都市地形分析、向上した資産相互運用性。

提案手法

• 3段階の説明フレームワークを提案する：第1層（追跡可能性）はモデル入力を内部状態にマッピングする。第2層（根拠）は入力と出力の間の意味的リンクを提供する。第3層（保証）は方針およびオントロジカル制約に基づき意思決定を検証する。
• 複数のモダリティ（映像、音声、センサデータ）を統合した一元的なAI処理パイプラインを構築し、儀式的なダンスが暴力と誤認されるような異常事象を検出する。
• 説明可能なAI技術を用いて、映像および音声ストリームにおける顕著な時空間的特徴を同定し、文脈に配慮した統合によって、脅威でない行動を検出可能にする。
• 不確実性を考慮した手法を用いて、反事後的状況（例：暴力的行動 vs. 儀式的行動）を評価し、AIによる意思決定に対する信頼性を向上させる。
• 受信者ニーズに応じて動的に展開可能な、段階的説明をパッケージ化した複合的説明オブジェクトを設計する（例：運用者、アナリスト、監査者）。
• 人間がループに参加するモデルを実装し、AIが異常を特定して証拠を人間の専門家に提示することで、文化的知識を活用して曖昧さを解消する。

実験結果

リサーチクエスチョン

• RQ1 分散的で複数パートナーフレームワークを有するMDO環境において、信頼できる人間・機械連携を実現するため、説明可能なAIをどのように構造化できるか？
• RQ2 多様なステークホルダーが関与する連合ISR環境において、追跡可能性、根拠、保証性を最適に支援する段階的説明フレームワークは何か？
• RQ3 密度の高い都市地形のような高リスクで敵対的な環境において、限られたデータと高い不確実性がある中で、説明可能なAIは状況理解をどのように向上させるか？
• RQ4 説明可能なAIは、共同作戦、機関間、多国間作戦において意思決定の迅速化と相互運用性をどのように向上させるか？
• RQ5 AIシステムは、シンボリック（人間）およびサブシンボリック（機械）エージェントの両方に対して、どのように効果的にインサイトを伝えることができるか？これにより、継続的な学習と協働が可能になる。

主な発見

• 段階的説明フレームワークは、モデル意思決定に関連する顕著な視覚的・音声的特徴を同定することで、追跡可能性を効果的にサポートし、事後的合理的化の削減に寄与した。
• 根拠層により、映像および音声データの文脈的統合を経て、異常行動が非脅威的な儀式的行動として意味的に解釈可能となった。
• 保証層は、方針およびオントロジカル制約、ならびに反事後的推論を含め、非暴力的解釈が強固で説得力があることを検証する。
• 人間・機械連携により、儀式的ダンスと暴力の区別が難しい曖昧な状況において、意思決定の正確性が著しく向上した。AIによる検出と人間の文化的専門知識の融合がその要因となった。
• 説明可能なAIを連合ISRシステムに統合することで、不確実性下でも迅速かつ自信を持って意思決定が可能となり、運用の迅速化が実現した。
• 複合的説明オブジェクトにより、ステークホルダーごとに動的に説明にアクセス可能となり、現場運用者から監査者に至る多様な役割を支援しながら、透明性を損なわない状態を維持した。