[論文レビュー] Cognitive Load-based Affective Workload Allocation for Multi-human Multi-robot Teams

Wonse Jo, Ruiqi Wang+4 more|arXiv (Cornell University)|Mar 18, 2023

Human-Automation Interaction and Safety被引用数 5

ひとこと要約

本稿では、主観的な自己報告による作業負荷スコアと、生体および行動データからの客観的な認知的作業負荷予測を組み合わせて、動的に作業負荷を再割り当てる深層強化学習ベースの感情的作業負荷割り当て制御装置（AWAC）を提案する。本システムは、実時間でのオペレータの作業負荷状態に適応することで、従来の能力ベースや客観的測定に基づく割り当て手法を上回るチームパフォーマンスを実現し、32名の被験者を用いた実世界のCCTV監視実験で検証された。

ABSTRACT

The interaction and collaboration between humans and multiple robots represent a novel field of research known as human multi-robot systems. Adequately designed systems within this field allow teams composed of both humans and robots to work together effectively on tasks such as monitoring, exploration, and search and rescue operations. This paper presents a deep reinforcement learning-based affective workload allocation controller specifically for multi-human multi-robot teams. The proposed controller can dynamically reallocate workloads based on the performance of the operators during collaborative missions with multi-robot systems. The operators' performances are evaluated through the scores of a self-reported questionnaire (i.e., subjective measurement) and the results of a deep learning-based cognitive workload prediction algorithm that uses physiological and behavioral data (i.e., objective measurement). To evaluate the effectiveness of the proposed controller, we use a multi-human multi-robot CCTV monitoring task as an example and carry out comprehensive real-world experiments with 32 human subjects for both quantitative measurement and qualitative analysis. Our results demonstrate the performance and effectiveness of the proposed controller and highlight the importance of incorporating both subjective and objective measurements of the operators' cognitive workload as well as seeking consent for workload transitions, to enhance the performance of multi-human multi-robot teams.

研究の動機と目的

• 認知的作業負荷が監視されていないことや人間のパフォーマンスに一貫性がないことが原因で生じる、マルチヒューマンマルチロボット（MH-MR）チームにおける最適でない作業負荷割り当ての課題に対処すること。
• 共同ミッション中にオペレータの認知状態の変化に応じて動的に適応する作業負荷割り当てシステムを開発すること。
• より正確で迅速な作業負荷予測のため、認知的作業負荷の主観的（自己報告）および客観的（生体および行動）測定値を統合すること。
• 実世界の実験を通じて、提案された制御装置の有効性を検証すること。
• オペレータの同意が作業負荷の遷移に与える影響と、チームパフォーマンスへの影響を調査すること。

提案手法

• AWAC制御装置は、実時間でのパフォーマンス指標に基づいて、ヒューマンオペレータ間でロボット監視タスクを動的に再割り当てするための深層強化学習（DRL）を用いる。
• オペレータの認知的作業負荷は、インスタント・セルフアセスメント（IS）アンケートによる自己報告と、生体および行動信号からの作業負荷を予測する深層学習（DL）モデルによって評価される。
• DRLエージェントは、チームパフォーマンス、個々のオペレータの作業負荷（ISおよびPS）、および作業負荷遷移の好み（AS）を含む状態入力を受信し、ロボットチームの再割り当てを実行する。
• アクション空間には、ヒューマンオペレータ間でのロボットプラットフォームの再割り当てが含まれ、ミッションスコアを最大化するとともに最適な作業負荷レベルを維持することを目的としている。
• DRLフレームワークは、6台のロボットプラットフォームを含む実世界のCCTV監視タスクにおいて32名の被験者から得られたデータを用いて訓練および評価された。
• システムは、作業負荷遷移におけるオペレータの同意（AS）を、受け入れ率とパフォーマンス向上の観点から重要な要因として統合している。

Figure 1 : Conceptual illustration of the deep reinforcement learning (DRL)-based affective workload allocation controller (AWAC) for multi-human multi-robot (MH-MR) teams.

実験結果

リサーチクエスチョン

• RQ1 主観的および客観的認知的作業負荷測定値を統合することで、MH-MRチームにおける作業負荷割り当てとチームパフォーマンスはどの程度向上するか？
• RQ2 実時間での作業負荷状態を考慮するDRLベースの制御装置は、従来の能力ベースまたは客観的測定のみに依存する作業負荷割り当て手法に比べて、どの程度優れているか？
• RQ3 作業負荷遷移におけるオペレータの同意を組み込むことで、チームパフォーマンスとシステムの受容性はどの程度変化するか？
• RQ4 DRLベースの感情的作業負荷割り当て制御装置は、変動する認知的負荷条件下でもミッションパフォーマンスを維持または向上させることができるか？
• RQ5 提案されたAWAC制御装置は、異なる人間-ロボットチーム構成やミッションタイプに一般化可能か？

主な発見

• 提案されたAWAC制御装置は、従来の作業負荷割り当て手法に比べてチームパフォーマンスを顕著に向上させた。ミッションスコアのrmANOVA分析においてp値は.1未満であった。
• 主観的（IS）および客観的（PS）認知的作業負荷測定値を併用した割り当て（タスクG）は、客観的測定のみ（タスクE）、能力ベースの方法（タスクC）、および従来のタスク割り当て（タスクB）よりも優れたパフォーマンスを示した。
• 作業負荷遷移におけるオペレータの同意（AS）の統合により、自動的決定に依存する場合よりもパフォーマンスが向上した。これは、人間がシステムに参加する（人間が中核にいる）仕組みの重要性を示している。
• DRLベースの制御装置は、生体および行動データからの実時間での認知状態評価に基づき、動的にロボットを再割り当てすることで、最適な作業負荷レベルを効果的に維持できた。
• 実験空間および設備の制限により、現在の設定ではスケーラビリティの制限が見られたが、状態空間およびアクション空間を拡張することで、より多くのオペレータおよびロボットを含めるフレームワークへの拡張が可能である。
• 結果は、認知的作業負荷が人間-ロボットチームのパフォーマンスにおいて重要な要因であり、それを無視すると、過負荷や低負荷に起因するパフォーマンス低下が生じる場合に最適でないタスク割り当てが生じることを確認した。

Figure 2 : Generalized correlation between performance and levels of cognitive workload based on the Yerkes-Dodson law [ 43 ] .