[논문 리뷰] Here's What I've Learned: Asking Questions that Reveal Reward Learning

Soheil Habibian, Ananth Jonnavittula외 1명|arXiv (Cornell University)|2021. 07. 02.

Reinforcement Learning in Robotics참고 문헌 48인용 수 4

한 줄 요약

이 논문은 인간-로봇 상호작용에서 활동적 선호 학습을 위한 이중목표 프레임워크를 제안한다. 로봇은 효율적으로 학습하기 위해 정보성 질문을 하면서도 인간에게 자신의 지식 상태를 투명하게 전달하기 위해 공개성 질문을 동시에 고려한다. 인간이 로봇의 질문을 어떻게 인지하는지를 모델링함으로써, 이 방법은 최신 기술 수준에 못지않게 빠르게 학습할 수 있도록 하면서도 학습 진행 상황이 명확하게 드러나도록 하여 인간의 신뢰 형성과 배치 결정을 빠르게 이끌어낸다.

ABSTRACT

Robots can learn from humans by asking questions. In these questions the robot demonstrates a few different behaviors and asks the human for their favorite. But how should robots choose which questions to ask? Today's robots optimize for informative questions that actively probe the human's preferences as efficiently as possible. But while informative questions make sense from the robot's perspective, human onlookers often find them arbitrary and misleading. In this paper we formalize active preference-based learning from the human's perspective. We hypothesize that -- from the human's point-of-view -- the robot's questions reveal what the robot has and has not learned. Our insight enables robots to use questions to make their learning process transparent to the human operator. We develop and test a model that robots can leverage to relate the questions they ask to the information these questions reveal. We then introduce a trade-off between informative and revealing questions that considers both human and robot perspectives: a robot that optimizes for this trade-off actively gathers information from the human while simultaneously keeping the human up to date with what it has learned. We evaluate our approach across simulations, online surveys, and in-person user studies. Videos of our user studies and results are available here: https://youtu.be/tC6y_jHN7Vw.

연구 동기 및 목표

• 정보성 질문이 로봇의 지식 상태에 대해 잘못된 인식을 유도할 수 있는 인간-로봇 상호작용의 격차를 해결하기 위해.
• 로봇의 질문이 인간 관찰자에게 로봇의 현재 이해도에 대해 어떤 정보를 드러내는지를 체계화하기 위해.
• 로봇 중심의 정보 획득과 인간 중심의 투명성 간의 균형을 이루는 방법을 개발하기 위해.
• 공개성 질문이 인간이 로봇의 능력과 배치 준비 상태를 평가하는 데에 도움이 되는지 평가하기 위해.
• 로봇이 학습 진행 상황을 명시적으로 소통함으로써 인간-로봇 협업에서의 신뢰와 해석 가능성 향상을 위해.

제안 방법

• 로봇의 질문이 인간이 인지하는 지식 상태로 어떻게 매핑되는지를 기반으로 한 인지적 인간 모델을 체계화하여, 인간이 질문으로부터 로봇이 무엇을 안다는 것을 어떻게 유추하는지를 기록한다.
• 로봇의 정보 획득을 극대화하는 '정보성'과 인간에게 투명성을 극대화하는 '공개성' 간의 연속적인 트레이드오프를 도입한다.
• 로봇이 인간의 보상 함수에 대한 신뢰도를 유지하면서 이중 목표를 최적화하는 질문을 선택하기 위해 확률적 보상 학습 프레임워크를 사용한다.
• 알려진 행동(예: 정확한 스태킹)을 강조하면서 불확실한 요소(예: 운반 높이)를 변화시키는 질문 쌍을 설계하여 로봇의 불확실성이 명확해지도록 한다.
• 시뮬레이션, 온라인 설문조사, 현장 사용자 연구를 통해 메소드를 구현하고 평가한다. 실험은 접시 스태킹 작업을 기반으로 한다.
• 사용자 피드백을 통해 모델을 校정하고, 참가자가 질문을 통해 로봇의 지식 상태를 정확히 유추할 수 있는지 검증한다.

실험 결과

연구 질문

• RQ1 활동적 학습 중 로봇의 질문은 인간이 로봇의 지식 상태를 어떻게 인지하게 하는가?
• RQ2 로봇의 질문 선택 전략을 정보 획득과 인간에 대한 투명성의 두 가지 목표를 동시에 극대화하도록 설계할 수 있는가?
• RQ3 질문 설계를 통해 로봇의 학습 과정을 명확히 하면 인간의 신뢰와 로봇의 배치 결정에 도움이 되는가?
• RQ4 정보성 질문과 공개성 질문 간의 트레이드오프는 학습 속도와 인간의 이해 가능성에 어떤 영향을 미치는가?
• RQ5 사람들은 단지 로봇이 던지는 질문들만으로 로봇이 무엇을 안다는 것을 얼마나 정확히 유추할 수 있는가?

주요 결과

• 제안된 정보성 + 공개성 트레이드오프를 사용한 로봇는 최신 기술 수준의 정보성 전용 기반선과 비슷한 속도로 학습했으며, 학습 속도에 유의미한 손실가 없었다.
• 사용자 연구에 참여한 참가자들은 단지 질문들만으로도 로봇이 무엇을 안다고, 무엇을 모른다고 정확히 파악할 수 있었으며, 이는 모델의 해석 가능성의 타당성을 입증한다.
• '배치 준비' 평가에서 공개 전략을 사용했을 경우 약 6개의 질문 후에 참가자들이 로봇을 배치했지만, 순수 정보성 조건에서는 로봇의 지식 상태에 대한 불확실성이 있었기 때문에 참가자들이 결코 로봇을 배치하지 않았다.
• '정보성' 조건에서는 참가자들이 질문이 비합리적이고 오해의 소지가 있다고 느껴져 신뢰가 떨어지고, 배치 결정이 지연되었다.
• '공개성' 조건에서는 참가자들이 일관된 올바른 행동(예: 스태킹)이 질문 쌍 전반에 걸쳐 반복되는 것을 관찰함으로써 로봇이 올바른 행동을 학습했다는 것을 인식할 수 있었다.
• 온라인 설문조사 결과, 참가자들은 질문이 학습 진행 상황을 드러내기 때문에, 다수의 작업 요소가 변화하더라도 질문이 더 투명하고 이해하기 쉬운 것으로 인식했다.