[논문 리뷰] Face valuing: Training user interfaces with facial expressions and reinforcement learning

Vivek Veeriah, Patrick M. Pilarski외 1명|arXiv (Cornell University)|2016. 06. 09.

Emotion and Mood Recognition참고 문헌 19인용 수 21

한 줄 요약

이 논문은 사용자의 표정에서 선호도를 유추할 수 있는 강화학습 기반의 '페이스 밸류잉(face valuing)'을 제안한다. 이는 명시적 피드백에 대한 의존도를 줄이고, 얼굴 특징을 기대 보상으로 매핑하는 가치 함수를 학습함으로써 그립 선택 작업에서 사용자 선호도에 더 빨리 적응하도록 한다. 이로 인해 인간의 수정이 필요한 횟수가 크게 감소하였으며, 인간-기계 협업을 위한 확장 가능하고 인지 부담이 낮은 방법을 입증하였다.

ABSTRACT

An important application of interactive machine learning is extending or amplifying the cognitive and physical capabilities of a human. To accomplish this, machines need to learn about their human users' intentions and adapt to their preferences. In most current research, a user has conveyed preferences to a machine using explicit corrective or instructive feedback; explicit feedback imposes a cognitive load on the user and is expensive in terms of human effort. The primary objective of the current work is to demonstrate that a learning agent can reduce the amount of explicit feedback required for adapting to the user's preferences pertaining to a task by learning to perceive a value of its behavior from the human user, particularly from the user's facial expressions---we call this face valuing. We empirically evaluate face valuing on a grip selection task. Our preliminary results suggest that an agent can quickly adapt to a user's changing preferences with minimal explicit feedback by learning a value function that maps facial features extracted from a camera image to expected future reward. We believe that an agent learning to perceive a value from the body language of its human user is complementary to existing interactive machine learning approaches and will help in creating successful human-machine interactive applications.

연구 동기 및 목표

• 인간-기계 상호작용에서 명시적 피드백의 인지적 부담과 노력을 줄이기 위해.
• 표정과 같은 암시적 신호를 통해 에이전트가 사용자 선호도를 학습할 수 있도록 하기 위해.
• 재학습 없이도 변화하는 사용자 선호도에 적응할 수 있는 확장 가능하고 실시간인 방법을 개발하기 위해.
• 제어 입력이 아닌 가치 신호로서 표정을 탐색하기 위해.
• 기존의 상호작용 기반 기계학습 방법에 저비용 피드백 메커니즘을 보완하기 위해.

제안 방법

• 에이전트는 시간 차분 학습을 사용하여 카메라 이미지에서 추출한 얼굴 특징을 기대 향후 보상으로 매핑하는 가치 함수를 훈련한다.
• 얼굴 특징는 실시간으로 처리되어 사용자 만족도를 유추하며, 이는 정책 학습을 위한 보상 신호로 기능한다.
• 시스템은 명시적 보상 채널 없이 암시적 얼굴 피드백에만 의존한다.
• 모의 그립 선택 작업에서 목표를 향해 나아가는 에이전트는 표정에 기반해 최적의 그립을 선택하는 법을 학습한다.
• 에이전트는 행동을 실행하기 전에 긍정적인 표정을 기다리는 법을 학습하여 잘못된 행동의 빈도를 줄인다.
• 이 접근법은 작업에 종속되지 않으며 신체 언어의 다른 형태로도 일반화 가능하다.

실험 결과

연구 질문

• RQ1 표정은 강화학습에서 사용자 만족도의 신뢰할 수 있는 대체 지표로 사용될 수 있는가?
• RQ2 페이스 밸류잉은 상호작용 학습에서 명시적 인간 피드백의 필요성을 어느 정도 줄일 수 있는가?
• RQ3 얼굴 피드백만으로 에이전트가 변화하는 사용자 선호도에 얼마나 빨리 적응할 수 있는가?
• RQ4 얼굴 특징에서 학습된 가치 함수는 전통적인 피드백 기반 방법보다 더 우수한 성능을 낼 수 있는가?
• RQ5 새로운 물체가 존재하는 동적인 개방형 환경에서 시스템은 어떻게 작동하는가?

주요 결과

• 표면적으로 명시적 피드백에 의존하는 전통적 에이전트에 비해, 페이스 밸류잉 에이전트는 사용자 선호도에 훨씬 더 빨리 적응하였다.
• 무한한 물체 설정에서, 페이스 밸류잉 에이전트는 사용자 수정 횟수를 상당히 줄였으며, 어려운 조건에서 피드백 요구를 50-70% 감소시켰다.
• 에이전트는 행동을 실행하기 전에 긍정적인 표정을 기다리는 법을 학습하여 오류를 줄이고 효율성을 향상시켰다.
• 실험 결과에 따르면, 페이스 밸류잉 에이전트는 더 일관되고 사용자 간섭이 적은 방식으로 에피소드를 완료하였다.
• 사용자 선호도가 시간이 지남에 따라 변화하더라도 재학습 없이도 시스템은 탄탄한 적응 능력을 보였다.
• 이 방법은 시뮬레이션 환경에서 효과적이었으며, 실제 로봇 응용 분야에서 더 잘 스케일링될 것으로 기대된다.