[论文解读] First Contact: Unsupervised Human-Machine Co-Adaptation via Mutual Information Maximization

Siddharth Reddy, Sergey Levine+1 more|arXiv (Cornell University)|May 24, 2022

EEG and Brain-Computer Interfaces被引用 7

一句话总结

本文提出一种无监督方法，通过最大化用户指令信号与环境状态转移之间的互信息（MIMI），实现人机界面的协同自适应。在无需任何任务特定监督或奖励反馈的情况下，该方法在30分钟内即学会直观的界面，跨多种模态和任务，与真实任务表现的斯皮尔曼等级相关系数达到ρ=0.43。

ABSTRACT

How can we train an assistive human-machine interface (e.g., an electromyography-based limb prosthesis) to translate a user's raw command signals into the actions of a robot or computer when there is no prior mapping, we cannot ask the user for supervision in the form of action labels or reward feedback, and we do not have prior knowledge of the tasks the user is trying to accomplish? The key idea in this paper is that, regardless of the task, when an interface is more intuitive, the user's commands are less noisy. We formalize this idea as a completely unsupervised objective for optimizing interfaces: the mutual information between the user's command signals and the induced state transitions in the environment. To evaluate whether this mutual information score can distinguish between effective and ineffective interfaces, we conduct an observational study on 540K examples of users operating various keyboard and eye gaze interfaces for typing, controlling simulated robots, and playing video games. The results show that our mutual information scores are predictive of the ground-truth task completion metrics in a variety of domains, with an average Spearman's rank correlation of 0.43. In addition to offline evaluation of existing interfaces, we use our unsupervised objective to learn an interface from scratch: we randomly initialize the interface, have the user attempt to perform their desired tasks using the interface, measure the mutual information score, and update the interface to maximize mutual information through reinforcement learning. We evaluate our method through a user study with 12 participants who perform a 2D cursor control task using a perturbed mouse, and an experiment with one user playing the Lunar Lander game using hand gestures. The results show that we can learn an interface from scratch, without any user supervision or prior knowledge of tasks, in under 30 minutes.

研究动机与目标

• 解决在缺乏用户先前映射、任务标签或奖励反馈的情况下设计辅助性人机界面的挑战。
• 将界面质量的形式化定义为用户指令与环境状态转移之间互信息的度量，而非任务成功率。
• 通过人机协同强化学习，从零开始学习有效且直观的界面，无需显式用户监督。
• 评估互信息是否可在多样化的现实世界人机交互场景中作为任务表现的代理指标。

提出的方法

• 将界面优化形式化为最大化用户指令信号xₜ与环境状态转移(sₜ, sₜ₊Δ)之间的互信息I(xₜ; (sₜ, sₜ₊Δ))，以捕捉用户到环境及环境到用户的双向信息流。
• 采用基于贝叶斯优化的强化学习框架，更新界面参数θ以最大化互信息目标，实现数据高效的在线自适应。
• 利用直观界面可降低指令噪声的假设，因此更高的互信息意味着更好的协同自适应与界面质量。
• 使用基于对比估计的估计器测量互信息，将正样本对(xₜ, sₜ, sₜ₊Δ)与负样本对的指令和状态进行比较。
• 在离线评估（基于54万条人类交互示例）和在线学习（从随机初始化开始）中应用该方法，使用真实用户交互数据。
• 引入时间偏移Δ以建模用户的控制时间尺度，Δ根据预期任务时长或控制延迟进行选择。

实验结果

研究问题

• RQ1 当缺乏任务奖励或标签时，用户指令与环境状态转移之间的互信息能否作为界面质量的可靠无监督代理？
• RQ2 互信息目标在多种模态（键盘、眼动追踪、手势）和环境（打字、机器人控制、视频游戏）下与实际任务表现的相关性如何？
• RQ3 是否可仅通过人机协同交互与互信息最大化，从随机初始化学习到一个界面，而无需任何显式反馈或任务知识？
• RQ4 时间偏移Δ的选择如何影响互信息与真实任务成功之间的相关性？
• RQ5 该方法在多大程度上能发现非显而易见但有效的指令映射，这些映射无法通过人工设计预测？

主要发现

• 互信息目标在12项用户研究和54万条交互示例中，与真实任务完成度指标的斯皮尔曼等级相关系数达到ρ=0.43，证明其在无监督条件下的预测能力。
• 该方法在不到30分钟的人机协同训练中，从随机初始化成功学习到有效界面，且对任务或用户意图无先验知识。
• 在二维光标控制任务中，MIMI优化的界面使用户任务成功率显著高于基线界面，即使最优手势映射非直观。
• 一位专家用户成功使用由网络摄像头捕捉的手势操作Lunar Lander游戏，界面自适应生成了非手动设计的功能性映射。
• 为模拟机械臂学习的界面以非显而易见的方式使用手指手势——例如，启动左侧推进器始终需要同时激活主发动机——但这种涌现策略在下降过程中表现有效。
• 该方法的性能对时间偏移Δ的选择敏感，表明将互信息目标与用户的控制时间尺度对齐对实现最佳性能至关重要。