[論文レビュー] On Interactive Machine Learning and the Potential of Cognitive Feedback

Chris J. Michael, Dina Acklin+1 more|arXiv (Cornell University)|Mar 23, 2020

AI-based Problem Solving and Planning参考文献 37被引用数 4

ひとこと要約

本論文は、信頼性、使いやすさ、適応性を向上させるために、認知フィードバックを統合した人間中心のインタラクティブ機械学習（IML）を、防衛用途に向け導入する。3つの認知フィードバック手法—自己報告、暗黙的フィードバック、モデル化されたフィードバック—を提案し、リアルタイムでのアナリストの認知状態を機械学習モデルに動的に反映させることで、動的でハイリスクな環境下でのモデル性能とアナリストの生産性を顕著に向上させる。

ABSTRACT

In order to increase productivity, capability, and data exploitation, numerous defense applications are experiencing an integration of state-of-the-art machine learning and AI into their architectures. Especially for defense applications, having a human analyst in the loop is of high interest due to quality control, accountability, and complex subject matter expertise not readily automated or replicated by AI. However, many applications are suffering from a very slow transition. This may be in large part due to lack of trust, usability, and productivity, especially when adapting to unforeseen classes and changes in mission context. Interactive machine learning is a newly emerging field in which machine learning implementations are trained, optimized, evaluated, and exploited through an intuitive human-computer interface. In this paper, we introduce interactive machine learning and explain its advantages and limitations within the context of defense applications. Furthermore, we address several of the shortcomings of interactive machine learning by discussing how cognitive feedback may inform features, data, and results in the state of the art. We define the three techniques by which cognitive feedback may be employed: self reporting, implicit cognitive feedback, and modeled cognitive feedback. The advantages and disadvantages of each technique are discussed.

研究の動機と目的

• 機械学習の防衛分野への導入が遅れている主な要因（信頼性の低さ、使いにくさ、変化するミッション文脈への適応性の不足）を是正する。
• 従来の自動機械学習（AML）の限界を克服するため、アナリストをモデルのトレーニングおよび最適化に能動的に参加させる仕組みを統合する。
• 現在のIMLシステムにおけるギャップ、特にリアルタイムでの人間の精神状態を反映する認知フィードバックの統合不足を特定する。
• 自己報告、暗黙的フィードバック、モデル化されたフィードバックの3つの異なる認知フィードバックメカニズムを提案・評価し、IMLシステムを強化する。
• 複雑で時間的に敏感な防衛タスクにおいて、分野専門家を支援する人間中心で適応可能な機械学習システムの開発を前進させる。

提案手法

• アナリストが人間-コンピュータインターフェース（HCI）を通じて反復的に予測をラベル付け・是正するインタラクティブ機械学習（IML）アーキテクチャを実装する。
• タスク実行中にアンケートやプロンプトを用いて、作業負荷や不確実性などの自己報告による認知状態を収集することで、認知フィードバックを統合する。
• 視線追跡、反応時間、EEGなどの行動的・生理的信号を収集することで、暗黙的認知フィードバックを捉える。
• 計算認知モデル（例：ACT-R、SOAR）を用いてユーザー行動をシミュレートし、直接入力なしで作業負荷や意思決定の不確実性を推定する。
• フィードバックデータを活用して、モデルの特徴を動的に調整し、トレーニング例の再重み付け、またはアクティブラーニングループ内のデータサンプリングの優先順位付けを行う。
• フィードバックデータを従来のIML評価指標（例：分類精度、是正率）と組み合わせ、システムのパフォーマンスとアナリストの作業負荷を評価する。

実験結果

リサーチクエスチョン

• RQ1 認知フィードバックは、防衛用途におけるインタラクティブ機械学習システムの使いやすさと適応性をどのように向上させるか？
• RQ2 自己報告、暗黙的認知フィードバック、モデル化された認知フィードバックの相対的な利点と制限は何か？
• RQ3 認知フィードバックを統合することで、動的でミッションクリティカルな環境下でのアナリストの認知的負荷はどの程度軽減され、タスクパフォーマンスはどのように向上するか？
• RQ4 アナリストの作業フローを妨げることなく、リアルタイムで認知フィードバックを効果的に収集・モデル化する方法は何か？
• RQ5 認知フィードバックを統合することで、予期しないまたは変化するミッション文脈における、膨大な手動再トレーニングの必要性は減少するか？

主な発見

• 特に暗黙的フィードバックとモデル化フィードバックにより、アナリストの作業負荷や不確実性に応じたリアルタイムの適応が可能となり、IMLのパフォーマンスが顕著に向上する。
• 自己報告はアナリストの精神状態を直接的に入手できるが、認知的オーバーヘッドのため、高テンポな環境では実用的でない可能性がある。
• 行動的・生理的信号から得られる暗黙的認知フィードバックをモデルに組み込むことで、従来の機械学習手法を上回る性能が得られる。
• ACT-R や SOAR などのアーキテクチャを用いたモデルベースの認知フィードバックにより、ユーザー行動のシミュレーションが可能となり、IMLシステムの予測的適応が可能になる。
• 認知フィードバックの統合により、より効果的なモデル最適化と高いアナリスト生産性が実現され、特に動的または予期しない運用状況下で顕著に効果を発揮する。
• 認知フィードバックとアクティブラーニングを組み合わせることで、データ効率が向上し、時間経過とともに必要な手動是正の回数が減少する。