[논문 리뷰] Identifying Reward Functions using Anchor Actions.

Sinong Geng, Houssam Nassif외 3명|arXiv (Cornell University)|2020. 07. 15.

Reinforcement Learning in Robotics참고 문헌 39인용 수 2

한 줄 요약

이 논문은 상태와 행동에 모두 의존하는 보상 함수를 추정할 수 있도록 보상 함수를 순차적으로 학습하는 정책, Q함수, 보상 함수를 활용하는 새로운 역강화학습 프레임워크인 PQR를 제안한다. 알려진 앵커 액션(예: 아무것도 하지 않는 것)을 활용하여 전이가 스토케스틱한 환경에서도 보상 추정이 가능하게 한다. 전이가 알려진 경우 유일한 보상 복원을 보장하며, 전이가 알려지지 않은 경우 오차 한계를 제공한다.

ABSTRACT

We propose a reward function estimation framework for inverse reinforcement learning with deep energy-based policies. We name our method PQR, as it sequentially estimates the Policy, the $Q$-function, and the Reward function. PQR does not assume that the reward solely depends on the state, instead it allows for a dependency on the choice of action. Moreover, PQR allows for stochastic state transitions. To accomplish this, we assume the existence of one anchor action whose reward is known, typically the action of doing nothing, yielding no reward. We present both estimators and algorithms for the PQR method. When the environment transition is known, we prove that the PQR reward estimator uniquely recovers the true reward. With unknown transitions, we bound the estimation error of PQR. Finally, the performance of PQR is demonstrated by synthetic and real-world datasets.

연구 동기 및 목표

• 기존의 역강화학습 방법이 보상이 상태에만 의존한다고 가정하는 한계를 해결하기 위해, 보상이 상태와 행동에 모두 의존하도록 허용한다.
• 실제 환경에서 흔한 스토케스틱 상태 전이가 존재하는 환경에서도 보상 함수 추정을 가능하게 한다.
• 환경 전이가 알려진 경우 진정한 보상 함수를 유일하게 복원할 수 있는 이론적으로 탄탄한 방법을 제공한다.
• 전이가 알려지지 않은 경우 보상 함수의 추정 오차에 대한 이론적 한계를 제공하여 실용적 응용에서의 강인성을 확보한다.
• 합성 및 실제 데이터셋에서 제안된 방법의 효능을 입증한다.

제안 방법

• PQR 프레임워크는 딥 에너지 기반 정책 모델을 사용하여 정책, Q함수, 보상 함수를 순차적으로 추정한다.
• 일반적으로 '아무것도 하지 않는' 행동인 앵커 액션을 도입하며, 이 액션의 보상은 0으로 가정하여 보상 추정의 기준점으로 삼는다.
• 보상 함수를 상태와 행동의 함수로 모델링함으로써 더 풍부하고 현실적인 보상 구조를 가능하게 한다.
• 전이가 알려진 경우, PQR 보상 추정기는 진정한 보상 함수를 유일하게 복원함을 증명한다.
• 전이가 알려지지 않은 경우, 보상 함수의 추정 오차에 대한 이론적 한계를 유도한다.
• 앵커 액션을 활용하여 보상 함수 학습의 안정성과 지도력을 높이는 통합 최적화 기법을 채택한다.

실험 결과

연구 질문

• RQ1 역강화학습에서 보상이 상태뿐만 아니라 상태와 행동에 모두 의존하는 경우를 고려할 수 있는가?
• RQ2 환경 전이가 알려진 경우, 진정한 보상 함수를 유일하게 복원할 수 있는가?
• RQ3 전이가 알려지지 않은 경우 보상 함수의 추정 오차에 대한 한계는 무엇인가?
• RQ4 제안된 방법은 스토케스틱 상태 전이를 효과적으로 다룰 수 있는가?
• RQ5 기존 기준 대비 PQR 프레임워크는 합성 및 실제 환경에서 어떻게 성능을 발휘하는가?

주요 결과

• 환경 전이가 알려진 경우 PQR 방법은 진정한 보상 함수를 유일하게 복원하여 이론적 정확성을 보장한다.
• 전이가 알려지지 않은 경우, 보상 함수의 추정 오차에 대한 이론적 한계를 제공하여 신뢰성을 높인다.
• 스토케스틱 전이가 존재하는 환경에서도 보상 함수 추정에 성공적으로 적용되어 강인함을 입증한다.
• 합성 및 실제 데이터셋에서의 실험적 평가를 통해 PQR의 효능과 일반화 능력이 확인된다.
• 앵커 액션(예: '아무것도 하지 않음')의 사용은 보상 함수에 대한 사전 지식이 없더라도 안정적이고 정확한 보상 추정을 가능하게 한다.
• 복잡한 보상 함수(상태와 행동에 모두 의존)를 복원하는 데 있어 기존 기준 방법보다 성능이 뛰어나다.