[논문 리뷰] First Contact: Unsupervised Human-Machine Co-Adaptation via Mutual Information Maximization

Siddharth Reddy, Sergey Levine외 1명|arXiv (Cornell University)|2022. 05. 24.

EEG and Brain-Computer Interfaces인용 수 7

한 줄 요약

이 논문은 사용자 명령 신호와 환경 상태 전이 간 상호정보량(MIMI)을 최대화하여, 작업 지식이나 보상 피드백 없이도 비지도 학습 방식으로 인간-기계 인터페이스를 공동 최적화하는 방법을 제안한다. 임의의 작업 지도나 보상 신호 없이도 30분 이내에 직관적인 인터페이스를 학습하며, 다양한 모odalities와 작업에서 실제 작업 성과와의 스피어만 상관계수 ρ=0.43을 달 đạt한다.

ABSTRACT

How can we train an assistive human-machine interface (e.g., an electromyography-based limb prosthesis) to translate a user's raw command signals into the actions of a robot or computer when there is no prior mapping, we cannot ask the user for supervision in the form of action labels or reward feedback, and we do not have prior knowledge of the tasks the user is trying to accomplish? The key idea in this paper is that, regardless of the task, when an interface is more intuitive, the user's commands are less noisy. We formalize this idea as a completely unsupervised objective for optimizing interfaces: the mutual information between the user's command signals and the induced state transitions in the environment. To evaluate whether this mutual information score can distinguish between effective and ineffective interfaces, we conduct an observational study on 540K examples of users operating various keyboard and eye gaze interfaces for typing, controlling simulated robots, and playing video games. The results show that our mutual information scores are predictive of the ground-truth task completion metrics in a variety of domains, with an average Spearman's rank correlation of 0.43. In addition to offline evaluation of existing interfaces, we use our unsupervised objective to learn an interface from scratch: we randomly initialize the interface, have the user attempt to perform their desired tasks using the interface, measure the mutual information score, and update the interface to maximize mutual information through reinforcement learning. We evaluate our method through a user study with 12 participants who perform a 2D cursor control task using a perturbed mouse, and an experiment with one user playing the Lunar Lander game using hand gestures. The results show that we can learn an interface from scratch, without any user supervision or prior knowledge of tasks, in under 30 minutes.

연구 동기 및 목표

• 사용자로부터 사전 매핑, 작업 레이블, 보상 피드백이 제공되지 않을 경우 보조적 인간-기계 인터페이스 설계의 과제를 해결하기 위해.
• 작업 성공률이 아닌 사용자 명령과 환경 상태 전이 간 상호정보량을 인터페이스 품질의 형식화 기준으로 삼기 위해.
• 명시적인 사용자 지도 없이도 인간-기계 루프 강화학습을 통해 처음부터 효과적이고 직관적인 인터페이스를 학습할 수 있도록 하기 위해.
• 다양하고 실제 인간-컴퓨터 상호작용 시나리오에서 상호정보량이 작업 성과의 대체 지표로 기능할 수 있는지 평가하기 위해.

제안 방법

• 사용자 명령 신호 xₜ와 환경 상태 전이 (sₜ, sₜ₊Δ) 간 상호정보량 I(xₜ; (sₜ, sₜ₊Δ))을 최대화하는 방식으로 인터페이스 최적화를 정식화하여, 사용자-환경 및 환경-사용자 정보 흐름을 모두 포괄한다.
• 데이터 효율적인 온라인 적응을 가능하게 하기 위해, 상호정보량 목표를 최대화하도록 인터페이스 파라미터 θ를 업데이트하는 베이지안 최적화 기반 강화학습 프레임워크를 사용한다.
• 직관적인 인터페이스는 명령 노이즈를 감소시키므로, 높은 상호정보량은 더 나은 공동 최적화와 인터페이스 품질을 의미한다.
• 양의 쌍 (xₜ, sₜ, sₜ₊Δ) 과 음의 쌍(명령 및 상태)을 비교하는 대비 추정 기반 추정기로 상호정보량을 측정한다.
• 실제 사용자 상호작용을 기반으로 하여 오프라인 평가(54만 건의 인간 상호작용 예제 사용)와 온라인 학습(임의의 초기화 상태에서 시작)에 모두 적용한다.
• 사용자의 제어 타임스케일을 모델링하기 위해 시간 오프셋 Δ를 사용하며, Δ는 예상 작업 시간 또는 제어 지연 시간에 따라 선택된다.

실험 결과

연구 질문

• RQ1 사용자 명령과 환경 상태 전이 간 상호정보량이 작업 보상이나 레이블이 제공되지 않을 경우 인터페이스 품질의 신뢰할 수 있는 비지도 대체 지표가 될 수 있는가?
• RQ2 다양한 모달리티(키보드, 눈동자 움직임, 손짓)와 환경(타이핑, 로봇 제어, 비디오 게임)에서 상호정보량 목표가 실제 작업 성과와 얼마나 높은 상관도를 보이는가?
• RQ3 명시적인 피드백이나 작업 지식 없이도 인간-기계 루프 상호작용과 상호정보량 최대화를 통해 인터페이스를 임의의 초기화 상태에서 학습할 수 있는가?
• RQ4 시간 오프셋 Δ의 선택이 상호정보량과 실제 작업 성공률 간 상관도에 어떤 영향을 미치는가?
• RQ5 이 방법이 수동 설계로 예측하기 어려운 비명백한 효과적인 명령 매핑을 얼마나 잘 발견할 수 있는가?

주요 결과

• 상호정보량 목표는 12개의 사용자 연구와 54만 건의 상호작용 예제를 바탕으로 실제 작업 완료 지표와 스피어만 상관계수 ρ=0.43를 달성하여, 지도 학습 없이도 예측 능력을 입증하였다.
• 이 방법은 작업이나 사용자 의도에 대한 사전 지식 없이도 인간-기계 루프 학습을 통해 30분 이내에 효과적인 인터페이스를 성공적으로 학습하였다.
• 2D 커서 제어 작업에서 MIMI 최적화 인터페이스를 사용한 사용자들은 최적의 손짓 매핑이 비직관적일지라도 기준 인터페이스보다 훨씬 높은 성공률을 기록하였다.
• 전문 사용자는 웹캠으로 촬영한 손짓을 사용하여 Lunar Lander를 성공적으로 플레이하였으며, 인터페이스는 수동으로 설계되지 않은 기능적 매핑으로 공동 최적화되었다.
• 시뮬레이션된 로봇 팔에 대해 학습된 인터페이스는 손가락 손짓을 비직관적인 방식으로 사용하였다. 예를 들어, 왼쪽 추진기 작동은 항상 주 엔진 작동과 동시에 이루어져야 했지만, 이러한 잠재 전략은 착륙에 효과적이었다.
• 이 방법의 성능는 시간 오프셋 Δ의 선택에 민감하게 영향을 받았으며, 상호정보량 목표를 사용자의 제어 타임스케일과 일치시켜야 최적의 성능을 달성할 수 있음을 시사한다.