[논문 리뷰] Learning Reward Functions from Scale Feedback

Nils Wilde, Erdem Bıyık외 2명|arXiv (Cornell University)|2021. 10. 01.

Reinforcement Learning in Robotics참고 문헌 36인용 수 6

한 줄 요약

이 논문은 전통적인 이진 또는 소프트 선택 피드백에 비해 로봇 경로 간의 미묘한 선호도 평가를 가능하게 하는 슬라이더 기반 인터페이스인 스케일 피드백을 제안한다. 사용자 반응을 가우시안 노이즈 분포로 모델링하고 정보 이득 및 최대 손실 기반의 주동적 질의 선택을 통해 보상 함수를 더 효율적으로 학습한다. 시뮬레이션과 사용자 연구에서 뚜렷한 성능 향상을 보이며, 약간 낮은 사용자 편의성에 비해 유의미한 성과를 거두었다.

ABSTRACT

Today's robots are increasingly interacting with people and need to efficiently learn inexperienced user's preferences. A common framework is to iteratively query the user about which of two presented robot trajectories they prefer. While this minimizes the users effort, a strict choice does not yield any information on how much one trajectory is preferred. We propose scale feedback, where the user utilizes a slider to give more nuanced information. We introduce a probabilistic model on how users would provide feedback and derive a learning framework for the robot. We demonstrate the performance benefit of slider feedback in simulations, and validate our approach in two user studies suggesting that scale feedback enables more effective learning in practice.

연구 동기 및 목표

• 이진 및 소프트 선택 피드백의 한계를 해결하기 위해, 각 상호작용당 하나 또는 몇 개의 비트 정보만 제공하는 방식의 문제를 해결하고자 한다.
• 로봇 경로 간 선호도의 정도를 포괄적으로 반영할 수 있는 더 표현력 있는 피드백 메커니즘을 설계하여 보상 학습의 데이터 효율성을 향상시키고자 한다.
• 스케일 피드백을 위한 확률적 사용자 모델을 개발하고, 이를 주동적 학습 프레임워크에 통합하여 보상 함수 추론을 효율적으로 수행하고자 한다.
• 제안된 방법을 시뮬레이션과 실제 사용자 연구를 통해 평가하여, 선택 기반 피드백 및 랜덤 대 주동적 질의 선택 간 성능을 비교하고자 한다.

제안 방법

• 사용자 스케일 피드백을 진짜 선호도 차이 주변의 가우시안 분포 확률 변수로 모델링하여 보상 함수 가중치의 확률적 추론을 가능하게 한다.
• 로봇 경로의 특징으로 파arameter화된 선형 보상 함수를 사용하며, 노이즈가 있는 스케일 피드백으로부터 가중치를 학습한다.
• 정보 이득 또는 기대 손실 최소화를 통해 최적의 경로 쌍을 선택하는 주동적 학습을 적용하여 수렴 속도를 가속화한다.
• 베이지안 업데이트와 가우시안 우도를 사용하여 보상 함수 가중치에 대한 믿음 확률을 갱신하는 확률적 추론 프레임워크를 구현한다.
• 시뮬레이션과 실제 로봇을 사용한 두 번의 사용자 연구를 통해 스케일 피드백이 소프트 선택 피드백 및 랜덤 대 주동적 질의 선택과 비교하여 성능을 평가한다.
• 학습 효과성을 평가하기 위해 검증 데이터의 로그우도와 최적화된 경로 보상 값을 성능 지표로 사용한다.

실험 결과

연구 질문

• RQ1 스케일 피드백은 소프트 선택 피드백 대비 보상 함수 학습 속도와 정확도에서 뛰어나지 않는가?
• RQ2 정보 이득 또는 최대 손실 기반의 주동적 질의 선택이 스케일 피드백을 통한 학습을 가속화하는가?
• RQ3 사용자들은 스케일 피드백이 소프트 선택 피드백보다 사용성과 표현력 면에서 더 우수하다고 평가하는가?
• RQ4 제안된 스케일 피드백의 확률적 모델은 실질적인 학습에 효과적으로 기여할 정도로 충분히 정확한가?

주요 결과

• 검증 데이터의 로그우도 측면에서 스케일 피드백은 소프트 선택 피드백보다 유의미하게 뛰어나며, p < .001로 H1를 지지한다.
• 정보 이득 기반 주동적 질의 선택은 무작위 질의 대비 더 빠른 학습과 높은 로그우도를 기록하였으며, p < .001로 H2를 지지한다.
• 정보 이득 기반 주동적 질의 선택은 랜덤 질의 대비 보상이 더 높게 평가되는 경로의 확률이 1.95배 높았다. 이는 H3를 지지한다.
• 정량적 성능 향상에도 불구하고 사용자들은 소프트 선택 피드백이 약간 더 사용하기 쉬운 것으로 평가하였으며(p < .01), 이는 H5를 기각한다.
• 스케일 피드백과 소프트 선택 피드백 간의 표현력에 대한 사용자 인식에 통계적으로 유의미한 차이가 없었으며, 이는 H6의 일부를 지지한다.
• 모델의 높은 추정 노이즈 파라미터(σ)는 모델 정확도에 한계가 있음을 시사하며, 향후 연구에서 사용자 모델링을 보다 정교하게 다룰 필요가 있음을 시사한다.