[논문 리뷰] Including Uncertainty when Learning from Human Corrections

Dylan P. Losey, Marcia K. O’Malley|arXiv (Cornell University)|2018. 06. 06.

AI-based Problem Solving and Planning참고 문헌 25인용 수 8

한 줄 요약

이 논문은 인간의 수정 사항에서 인버스 강화 학습을 위한 칼만 필터 기반 접근법을 제안하여, 로봇이 가장 가능성 있는 인간의 선호 사항뿐 아니라 그 추정치의 불확실성까지 추정할 수 있도록 한다. 불확실성을 활성 학습과 위험 감수성 있는 배포에 활용함으로써, 표준 최대 사후 확률 접근법에 비해 더 빠른 학습과 감소된 후회를 달성한다. 이는 편향된 인간의 수정 사항 조건에서도 성립한다.

ABSTRACT

It is difficult for humans to efficiently teach robots how to correctly perform a task. One intuitive solution is for the robot to iteratively learn the human's preferences from corrections, where the human improves the robot's current behavior at each iteration. When learning from corrections, we argue that while the robot should estimate the most likely human preferences, it should also know what it does not know, and integrate this uncertainty as it makes decisions. We advance the state-of-the-art by introducing a Kalman filter for learning from corrections: this approach obtains the uncertainty of the estimated human preferences. Next, we demonstrate how the estimate uncertainty can be leveraged for active learning and risk-sensitive deployment. Our results indicate that obtaining and leveraging uncertainty leads to faster learning from human corrections.

연구 동기 및 목표

• 기존의 인버스 강화 학습 방법이 불확실성을 추적하지 못하는 한계를 해결하기 위해.
• 반복적인 인간의 수정 사항에서 학습하는 동안 어느 선호 사항이 잘 이해되었고 어느 것이 여전히 불확실한지 로봇이 인식할 수 있도록 하기 위해.
• 불확실성을 활용해 더 유의미한 수정 사항을 적극적으로 선택함으로써 학습 효율을 높이는 방법을 개발하기 위해.
• 수정 사항이 중단된 이후에도 불확실한 선호 사항과 관련된 행동을 피하는 방식으로 위험 감수성 있는 배포를 지원하기 위해.
• 기존의 노이즈 가정을 위반하는 실제적인 비이상적인 인간 수정 행동 조건에서의 성능 평가를 위해.

제안 방법

• 방법은 인간의 수정 사항을 노이즈가 있는 관측치로 모델링하고, 칼만 필터를 사용해 인간 선호 사항의 평균과 공분산을 반복적으로 추정함으로써 불확실성을 포착한다.
• 칼만 필터는 각 반복에서 수정 사항을 노이즈 특성이 알려진 측정치로 간주하여 선호 사항 추정치와 그 불확실성을 업데이트한다.
• 활성 학습을 위해, 로봇은 불확실성 감소를 최대화하는 트랙잭리를 선택하며, 특히 선호 사항 추정치에서 분산이 높은 특징을 대상으로 한다.
• 위험 감수성 있는 배포를 위해, 로봇은 학습이 종료된 후라도 높은 불확실성의 선호 사항을 포함하는 트랙잭리를 피한다.
• 경로 최적화 및 선호 사항 추정 과정에서의 비선형성을 다루기 위해 비선형 칼만 필터(unscented Kalman filter, UKF)를 사용한다.
• 모델은 시뮬레이션된 인간의 수정 사항을 사용해 평가되었으며, 수정 사항은 오차가 가장 큰 웨이포인트를 최적 경로 쪽으로 이동시켜 생성되어, 비이성적인 수정 패턴을 테스트하기 위해 편향을 도입하였다.

실험 결과

연구 질문

• RQ1 반복적인 수정 사항에서 학습하는 동안 칼만 필터가 인간 선호 사항의 평균과 불확실성을 효과적으로 추정할 수 있는가?
• RQ2 불확실성을 활용할 경우 최대 사후 확률 추정에 비해 학습 속도와 정확도가 어떻게 향상되는가?
• RQ3 불확실성 인식 기반 활성 학습이 더 유의미한 질문을 선택함으로써 필요한 수정 수를 줄일 수 있는가?
• RQ4 수정 사항이 더 이상 제공되지 않을 경우, 불확실성 기반 위험 감수성 있는 배포가 안전성과 신뢰성에 어떻게 기여하는가?
• RQ5 실제 환경에서 비정규 분포 또는 편향된 인간 수정 사항에 대해 칼만 필터 접근법은 얼마나 강건한가?

주요 결과

• 칼만 필터(KF) 방법은 추정 오차와 후회 모두에서 최신 기술인 선호도 퍼셉트론(PP)을 능가하여 진정한 인간 선호 사항으로의 수렴 속도가 더 빠름을 입증했다.
• 불확실성 감소를 통한 활성 학습(AL)은 특히 일부 선호 사항은 이미 잘 추정되어 있고 다른 선호 사항은 여전히 불확실한 경우에 PP보다 더 빠른 학습을 달성했다.
• 편향된 인간 수정 사항(예: 오차가 가장 큰 웨이포인트만 수정하는 경우) 조건에서도 칼만 필터는 강건한 성능 유지를 보이며 비이상적인 수정 패tern에 대한 저항력을 입증했다.
• 여러 환경에서 KF 방법은 PP 대비 25~40%의 후회 감소를 기록하여, 학습 초기 단계부터 진정한 인간 선호 사항과 더 잘 일치함을 시사했다.
• 로봇가 선호 사항에 대해 초기에 높은 불확실성을 가졌을 경우(예: 테이블 회피), 활성 학습은 수동 학습보다 불확실성을 훨씬 더 빠르게 감소시켰다.
• 비정규 분포의 수정 노이즈 조건에서도 이 방법은 여전히 불확실성 추정치를 잘 유지했으며, 현실적인 인간-로봇 상호작용 환경에서의 강건성을 검증했다.