[논문 리뷰] Learning from Richer Human Guidance: Augmenting Comparison-Based Learning with Feature Queries

Chandrayee Basu, Mukesh Singhal외 1명|arXiv (Cornell University)|2018. 02. 05.

Machine Learning and Algorithms참고 문헌 20인용 수 8

한 줄 요약

이 논문은 비교 기반 보상 학습에 기능 질의를 추가함으로써 보상 학습을 향상시킨다. 사용자에게 두 로봇 궤적 중 어느 쪽이 더 선호되는지를 묻는 것 외에도, 어떤 특정 기능(예: 속도, 부드러움)이 그 선호도를 이끌었는지 묻는다. 진정한 보상에 대한 노이즈 있는 관측으로 비교 및 기능 답변을 모두 모델링함으로써, 이 방법은 활성 질의 선택 전략을 사용해 효율적으로 사용자 선호도를 추론하며, 비교 학습에 비해 시뮬레이션 및 실제 사용자 연구에서 훨씬 더 나은 보상 일치를 달성한다.

ABSTRACT

We focus on learning the desired objective function for a robot. Although trajectory demonstrations can be very informative of the desired objective, they can also be difficult for users to provide. Answers to comparison queries, asking which of two trajectories is preferable, are much easier for users, and have emerged as an effective alternative. Unfortunately, comparisons are far less informative. We propose that there is much richer information that users can easily provide and that robots ought to leverage. We focus on augmenting comparisons with feature queries, and introduce a unified formalism for treating all answers as observations about the true desired reward. We derive an active query selection algorithm, and test these queries in simulation and on real users. We find that richer, feature-augmented queries can extract more information faster, leading to robots that better match user preferences in their behavior.

연구 동기 및 목표

• 경로 시연가 사용자에게 제공하기 어려운 경우나 오해의 소지가 있는 경우에 로봇 보상 함수를 학습하는 데 도전하는 것.
• 사용자에게는 쉬운 비교 기반 학습이지만 정보량이 적은 데 비해, 한 궤적이 다른 궤적보다 왜 선호되는지에 대한 기능 설명을 통합함으로써 이를 향상시키는 것.
• 비교 및 기능 답변을 모두 진정한 보상 함수에 대한 노이즈 있는 관측으로 간주하는 통합된 확률적 프레임워크를 개발하는 것.
• 각 질의당 정보 수확량을 최대화하는 활성 질의 선택 전략을 설계하여 보상 파라미터의 수렴 속도를 가속화하는 것.
• 풍부한 질의가 더 나은 보상 모델과 사용자 만족도를 높이는 결과를 낳는다는 것을 시뮬레이션 및 실제 세계 사용자 연구를 통해 실증적으로 검증하는 것.

제안 방법

• 이 방법은 인간의 응답을 진정한 보상 파rameter θ에 조건화된 노이즈 있는 최적 결정으로 모델링하며, 비교 및 기능 답변을 모두 베이지안 추론 프레임워크 내의 관측으로 간주한다.
• 선형 보상 함수 r(x,u) = θᵀφ(x,u)를 사용하며, 여기서 φ(x,u)는 상태-행동 쌍의 해석 가능한 기능 벡터이다.
• 진정한 보상 θ가 주어졌을 때 사용자가 질의 q(두 궤적과 하나의 기능을 포함)에 어떻게 응답할지를 나타내는 확률 모델 P(a|θ,q)를 정의한다.
• 사용자의 사후 분포에 대해 불확실성 기반의 획득 함수를 사용하여, θ에 대한 기대 정보 수확량을 최대화하는 질의를 적극적으로 선택한다.
• 비교 및 기능 질의의 병합된 증거를 기반으로 θ에 대한 베이지안 추론을 수행하며, 반복적으로 믿음을 갱신한다.
• 이 접근법은 완벽한 인간 응답과 노이즈 있는 인간 응답을 모두 포함한 시뮬레이션에서 평가되었으며, 실내 실험실에서의 운전 스타일 선호도에 대한 실제 사용자 연구에서 검증되었다.

실험 결과

연구 질문

• RQ1 비교와 함께 어떤 기능이 선호도를 이끌었는지 설명하는 기능 증강 질의는 비교 질의만 사용하는 것보다 보상 학습 속도와 정확도 측면에서 빠르고 정확한가?
• RQ2 기능 답변을 통합된 확률적 모델에 통합함으로써, 로봇이 진정한 사용자 선호도를 추론하는 능력은 어떻게 향상되는가?
• RQ3 풍부한 질의에서 정보 수확량을 기반으로 한 활성 질의 선택 전략은 수렴 속도와 정확도 측면에서 무작위 또는 비적응형 질의 전략보다 뛰어나게 작용하는가?
• RQ4 실제 사용자가 기능 증강 질의를 사용자 친화성, 투명성, 신뢰도 측면에서 어떻게 인지하고 반응하는가?
• RQ5 풍부한 질의를 통해 학습된 로봇은 비교 질의만 사용한 로봇에 비해 사용자가 더 선호하는 행동을 얼마나 잘 보여주는가?

주요 결과

• 시뮬레이션에서, 풍부한 질의는 완벽한 인간 응답과 노이즈 있는 인간 응답 상황에서 모두 비교 질의만 사용하는 것보다 보상 파라미터 학습 속도가 더 빠르고 정확도가 높았다.
• 실제 사용자 연구에서, 풍부한 질의로부터 학습된 보상 함수를 사용해 최적화된 궤적은 비교 질의만 사용한 것보다 74%의 비율로 더 선호되었다.
• 사용자들은 풍부한 질의를 통해 학습된 로봇에 대해 모든 네 가지 리커트 척도 선호 질문에서 유의미하게 더 높은 평가를 내렸다(p < .001, 모든 항목에서). 이는 사용자의 기대와 차량에 탑승할 의향을 반영했다.
• 참가자들은 기능 질의가 매우 유용하다고 평가했으며(평균 5.8/7), 궤적 비교 능력을 향상시켰다고 평가했고(평균 5.9/7), 투명성을 높였다고 평가했다(평균 6.3/7), 비록 인지적 부담이 증가했음에도 불구하고.
• 기능 질의의 평균 사용자 경험 평가는 6.0/7이었으며, 모든 참가자가 추가 노력이 필요하더라도 로봇이 더 나은 선호도를 학습하는 데 도움이 되기를 원한다고 동의했다.
• 이 연구는 사용자가 인지하는 바로는 더 신뢰할 수 있고 효과적이며 이해하기 쉬운 로봇 행동이 풍부한 질의를 통해 달성된다는 점을 확인했다.