[논문 리뷰] Continuous Inverse Optimal Control with Locally Optimal Examples

Sergey Levine, Vladlen Koltun|arXiv (Cornell University)|2012. 06. 18.

Reinforcement Learning in Robotics참고 문헌 12인용 수 167

한 줄 요약

이 논문은 연속적이고 고차원적인 마르코프 결정 과정에서 국소적으로 최적인 시연 데이터로부터 보상 함수를 학습하는 확률적 역최적제어 방법을 제안한다. 국소 보상 근사화를 활용함으로써 이전 방법들이 요구하는 엄격한 전역 최적성 가정을 완화하여, 완벽하지 않은 전문가 데이터로부터도 강건하게 학습할 수 있으며, 전체 정책 계산 없이도 큰 도메인으로도 효율적으로 확장 가능하다.

ABSTRACT

Inverse optimal control, also known as inverse reinforcement learning, is the problem of recovering an unknown reward function in a Markov decision process from expert demonstrations of the optimal policy. We introduce a probabilistic inverse optimal control algorithm that scales gracefully with task dimensionality, and is suitable for large, continuous domains where even computing a full policy is impractical. By using a local approximation of the reward function, our method can also drop the assumption that the demonstrations are globally optimal, requiring only local optimality. This allows it to learn from examples that are unsuitable for prior methods.

연구 동기 및 목표

• 기존의 역최적제어 방법이 전역적으로 최적인 전문가 시연 데이터를 요구하는 한계를 해결하기 위해.
• 전체 정책 계산이 불가능한 고차원적이고 연속적인 상태 및 행동 공간에서 역강화학습을 가능하게 하기 위해.
• 국소적으로 최적인 예시들로부터 보상 함수를 학습하는 확장 가능한 확률적 프레임워크를 개발하기 위해.
• 전문가 시연의 전역 최적성 가정을 완화하여 실제 세계의 완벽하지 않은 전문가 데이터에 적용 가능한 방법을 만들기 위해.

제안 방법

• 상태-행동 쌍에 대한 보상 함수의 국소적 근사를 커널 기반 회귀 방법을 사용하여 모델링함으로써 보상을 함수로 표현한다.
• 보상 함수에 대한 가우시안 프로세스 사전분포를 사용하여 역최적제어 문제를 보상 함수에 대한 확률적 추론 문제로 재구성한다.
• 각각의 시연가 국소적으로 최적임을 가정함으로써, 국소적으로 최적인 시연 데이터로부터 보상 함수의 사후분포를 근사하기 위해 변분 추론 기법을 사용한다.
• 유전적 정책 모델을 사용하여 불확실성을 다루며, 유추된 보상 함수로부터 유도된 정책 하에서 시연의 가능도를 계산한다.
• 각 시연가 상태-행동 궤적의 작은 이웃 내에서 최적임을 가정함으로써 국소 최적성 제약 조건을 통합한다.
• 전체 정책의 열거를 피하고 국소 보상 모델링에 의존함으로써 고차원 도메인으로의 유연한 확장이 가능하다.

실험 결과

연구 질문

• RQ1 전체 정책 계산이 불가능한 연속적이고 고차원적인 도메인에 대해 역최적제어가 효과적으로 적용될 수 있는가?
• RQ2 역강화학습이 국소적으로 최적이지만 전역적으로 열등한 전문가 시연 데이터에 대해 어떻게 강건하게 작동할 수 있는가?
• RQ3 전역 최적성 가정을 완화할 경우 보상 복원의 정확도와 안정성에 어떤 영향을 미치는가?
• RQ4 국소 보상 근사화가 복잡한 환경에서 확장 가능하고 효율적인 역학습을 가능하게 할 수 있는가?
• RQ5 샘플 효율성과 시연 품질에 대한 강건성 측면에서 제안된 확률적 프레임워크는 기존 방법보다 어떻게 비교되는가?

주요 결과

• 이 방법은 전역적으로 열등할 수 있는 국소적으로 최적인 시연 데이터로부터도 정확한 보상 함수를 학습하는 데 성공한다.
• 불완전한 전문가 데이터를 포함한 환경에서 기준 방법들에 비해 뚜렷한 성능 향상을 보이며, 시연 노이즈에 대해 강건함을 입증한다.
• 전체 정책 열거의 계산적 비현실성 문제를 피하면서도 고차원 연속 도메인으로 효과적으로 확장된다.
• 국소 보상 근사화를 사용함으로써 전역 보상 모델링 접근법에 비해 더 나은 일반화와 더 안정적인 학습이 가능하다.
• 연속 제어 작업에 대한 실증 결과는 기존의 역강화학습 방법들보다 빠른 수렴과 더 높은 샘플 효율성을 보여준다.
• 확률적 수식은 보상 추정의 불확실성 정량화를 가능하게 하여, 데이터가 적은 환경에서의 신뢰도를 향상시킨다.