[論文レビュー] First Contact: Unsupervised Human-Machine Co-Adaptation via Mutual Information Maximization

Siddharth Reddy, Sergey Levine+1 more|arXiv (Cornell University)|May 24, 2022

EEG and Brain-Computer Interfaces被引用数 7

ひとこと要約

本稿では、ユーザーのコマンド信号と環境の状態遷移の間の相互情報量（MIMI）を最大化することで、教師なしの方法で人間-機械インターフェースを共に最適化する手法を提案する。タスク固有の監視や報酬フィードバックが一切ない状況下でも、30分未満で直感的なインターフェースを学習し、多様なモダリティやタスクにおいて、真値のタスクパフォーマンスとスピアマン順位相関係数ρ=0.43を達成する。

ABSTRACT

How can we train an assistive human-machine interface (e.g., an electromyography-based limb prosthesis) to translate a user's raw command signals into the actions of a robot or computer when there is no prior mapping, we cannot ask the user for supervision in the form of action labels or reward feedback, and we do not have prior knowledge of the tasks the user is trying to accomplish? The key idea in this paper is that, regardless of the task, when an interface is more intuitive, the user's commands are less noisy. We formalize this idea as a completely unsupervised objective for optimizing interfaces: the mutual information between the user's command signals and the induced state transitions in the environment. To evaluate whether this mutual information score can distinguish between effective and ineffective interfaces, we conduct an observational study on 540K examples of users operating various keyboard and eye gaze interfaces for typing, controlling simulated robots, and playing video games. The results show that our mutual information scores are predictive of the ground-truth task completion metrics in a variety of domains, with an average Spearman's rank correlation of 0.43. In addition to offline evaluation of existing interfaces, we use our unsupervised objective to learn an interface from scratch: we randomly initialize the interface, have the user attempt to perform their desired tasks using the interface, measure the mutual information score, and update the interface to maximize mutual information through reinforcement learning. We evaluate our method through a user study with 12 participants who perform a 2D cursor control task using a perturbed mouse, and an experiment with one user playing the Lunar Lander game using hand gestures. The results show that we can learn an interface from scratch, without any user supervision or prior knowledge of tasks, in under 30 minutes.

研究の動機と目的

• ユーザーが事前にマッピング、タスクラベル、報酬フィードバックを提供しない状況下で、支援的ヒューマンマシンインターフェースを設計する課題に対処すること。
• タスクの成功ではなく、ユーザーのコマンドと環境の状態遷移の間の相互情報量によってインターフェースの質を形式化すること。
• 明示的なユーザーの監視なしに、ヒューマンインザループ強化学習を通じて、元から有効で直感的なインターフェースを学習すること。
• 相互情報量が多様で現実世界のヒューマンコンピュータインタラクションのシナリオにおいて、タスクパフォーマンスの代理指標として機能するかどうかを評価すること。

提案手法

• ユーザーのコマンド信号xₜと環境の状態遷移(sₜ, sₜ₊Δ)の間の相互情報量I(xₜ; (sₜ, sₜ₊Δ))を最大化するようにインターフェース最適化を定式化し、ユーザーから環境、および環境からユーザーへの情報フローを捉える。
• データ効率的なオンライン適応を可能にするために、ベイジアン最適化に基づく強化学習フレームワークを用い、インターフェースパラメータθを相互情報量目的関数を最大化するように更新する。
• 直感的なインターフェースはコマンドのノイズを低減するという仮定を活用し、高い相互情報量はより良い共最適化とインターフェース品質を示すとみなす。
• 正例ペア（xₜ, sₜ, sₜ₊Δ）と負例ペアのコマンドと状態を比較する対照推定ベースの推定器を用いて相互情報量を測定する。
• 実際のユーザーインタラクションを用いて、オフライン評価（54万件のヒューマンインタラクション例）とオンライン学習（ランダム初期化から開始）の両方で手法を適用する。
• ユーザーの制御タイムスケールをモデル化するために時間オフセットΔを用い、Δは予想されるタスク時間または制御遅延に基づいて選択する。

実験結果

リサーチクエスチョン

• RQ1 タスク報酬やラベルが一切ない状況下で、ユーザーのコマンドと環境の状態遷移の間の相互情報量が、インターフェース品質の信頼できる教師なし代理指標として機能するか。
• RQ2 キーボード、眼の動き、手のジェスチャーといった多様なモダリティと、タイピング、ロボット制御、ビデオゲームといった多様な環境において、相互情報量の目的関数が実際のタスクパフォーマンスとどの程度相関するか。
• RQ3 明示的なフィードバックやタスク知識なしに、ヒューマンインザループのインタラクションと相互情報量の最大化のみを用いて、インターフェースをランダム初期化から学習できるか。
• RQ4 時間オフセットΔの選択が、相互情報量と真値のタスク成功との相関にどのように影響するか。
• RQ5 この手法が、手作業による設計では予測できない非自明で効果的なコマンドマッピングをどの程度発見できるか。

主な発見

• 相互情報量の目的関数は、12件のユーザースタディおよび54万件のインタラクション例を含む全データで、真値のタスク完了メトリクスとスピアマン順位相関係数ρ=0.43を達成し、教師なしの状況下でも予測力の高さを示した。
• 本手法は、タスクやユーザーの意図に関する事前知識なしに、ヒューマンインザループの訓練を30分未満で実施し、有効なインターフェースを成功裏に学習した。
• 2次元カーソル制御タスクにおいて、MIMI最適化されたインターフェースは、最適なジェスチャーのマッピングが非直感的であっても、ベースラインのインターフェースよりも著しく高いタスク成功確率を達成した。
• エキスパートユーザーがWebカメラでキャプチャした手のジェスチャーを用いて、手動で設計されていないが機能的なマッピングに共最適化されたインターフェースを介してLunar Landerを成功裏にプレイした。
• 模擬ロボットアームのための学習済みインターフェースは、指のジェスチャーを非自明な方法で使用していた——例えば、左スラスターを発火させるには常にメインエンジンの同時に作動が必要だった——しかし、この出現した戦略は降下タスクにおいて有効であった。
• 本手法のパフォーマンスは時間オフセットΔの選択に敏感であり、相互情報量の目的関数をユーザーの制御タイムスケールに合わせることが、最適なパフォーマンスを発揮する上で極めて重要であることが示された。