[논문 리뷰] Inverse Reinforcement Learning with Conditional Choice Probabilities

Mohit Sharma, Kris Kitani외 1명|arXiv (Cornell University)|2017. 09. 22.

Innovation Diffusion and Forecasting참고 문헌 21인용 수 4

한 줄 요약

이 논문은 반복적인 동적 프ogramming을 조건부 선택 확률(Conditional Choice Probabilities, CCPs)로 대체함으로써 계산 비용을 크게 줄이는 CCP-IRL이라는 역강화학습 방법을 제안한다. 전문가 경로에서 유래한 경험적 추정 CCPs를 통해 가치 함수를 모델링함으로써 반복적인 DP 호출을 피할 수 있으며, 이로 인해 그리드월드 및 오브젝트월드 벤치마크에서 MaxEnt-IRL 대비 최대 5배 빠른 속도를 달성하면서도 보상 복원 품질을 유지한다.

ABSTRACT

We make an important connection to existing results in econometrics to describe an alternative formulation of inverse reinforcement learning (IRL). In particular, we describe an algorithm using Conditional Choice Probabilities (CCP), which are maximum likelihood estimates of the policy estimated from expert demonstrations, to solve the IRL problem. Using the language of structural econometrics, we re-frame the optimal decision problem and introduce an alternative representation of value functions due to (Hotz and Miller 1993). In addition to presenting the theoretical connections that bridge the IRL literature between Economics and Robotics, the use of CCPs also has the practical benefit of reducing the computational cost of solving the IRL problem. Specifically, under the CCP representation, we show how one can avoid repeated calls to the dynamic programming subroutine typically used in IRL. We show via extensive experimentation on standard IRL benchmarks that CCP-IRL is able to outperform MaxEnt-IRL, with as much as a 5x speedup and without compromising on the quality of the recovered reward function.

연구 동기 및 목표

• 보상 최적화 중 반복적인 동적 프로그래밍 호출이 필요한 최신 IRL 알고리즘의 높은 계산 비용 문제를 해결하기 위해.
• 조건부 선택 확률(CCPS)을 가치 함수 반복의 계산적으로 효율적인 대체 수 Mittel로 삼아 로봇 공학 분야의 역강화학습과 구조적 경제학을 연결하기 위해.
• 반복적인 MDP 해결이 필요 없도록 관측된 전문가 행동과 CCPs만을 사용해 보상 함수를 추정하는 방법을 개발하기 위해.
• 특히 복잡하거나 대규모 MDP에서, CCP 기반 IRL이 훈련 시간을 크게 줄이면서도 성능 품질을 유지하거나 향상시키는지 확인하기 위해.

제안 방법

• MDP를 동적 이산 선택(Dynamic Discrete Choice, DDC) 모델로 설정하여, 보상에 i.i.d. 감마 분포를 가진 쇼크를 도입해 전문가 행동의 확률적 특성을 모델링한다.
• 전문가 시연로부터 유도된 CCPs를 기반으로 한 새로운 가치 함수 표현 방식을 도입하며, 이는 현재 보상과 미래 가치의 차이를 기반으로 한다.
• 가치 함수를 CCPs와 보상 파라미터의 함수로 표현함으로써, 각 최적화 단계에서 벨만 방정식을 풀지 않고도 직접 계산이 가능하도록 한다.
• 가치 함수 추정치는 CCPs와 보상 함수 파라미터로부터 유도되며, 기울기 기반 최적화를 통해 보상 파라미터를 갱신한다.
• 비선형 보상 함수의 경우, 딥 네ural 네트워크를 사용해 보상 함수를 매개변수화하고, 이 방법을 DeepCCP-IRL로 확장함으로써 계산 효율성을 유지한다.
• 동적 프로그래밍 서브루틴을 CCP 기반의 폐쇄형 표현식으로 대체함으로써 반복적인 가치 반복을 피하며, 전체 계산량을 반복당 약 1회 정도의 MDP 해법으로 줄인다.

실험 결과

연구 질문

• RQ1 반복적인 동적 프로그래밍이 필요 없이 조건부 선택 확률(CCPs)을 사용해 IRL에서 가치 함수를 표현할 수 있는가?
• RQ2 반복적인 가치 함수 계산을 CCP 기반 추정치로 대체할 경우, 계산 비용은 크게 감소하고 보상 복원 정확도는 유지되는가?
• RQ3 대규모 상태 공간이나 비선형 보상 함수를 가진 복잡한 MDP에서 CCP-IRL은 MaxEnt-IRL 대비 어떻게 성능을 발휘하는가?
• RQ4 안정적인 CCP 추정을 위해 필요한 전문가 경로의 수준은 얼마인가? 즉, CCP-IRL의 데이터 효율성은 어떠한가?
• RQ5 특히 가치 반복 단계가 많은 MDP에서, CCP-IRL의 계산적 이점은 문제의 복잡도에 따라 비례 증가하는가?

주요 결과

• CCP-IRL은 표준 IRL 벤치마크에서 MaxEnt-IRL 대비 최대 5배 빠른 속도를 기록하며, 최적화 반복 수가 증가함에 따라 계산 시간이 약간만 증가한다.
• 그리드월드 및 오브젝트월드 환경에서 CCP-IRL과 MaxEnt-IRL 간의 보상 분포가 거의 동일함으로써, 높은 수준의 보상 복원 품질을 유지함을 입증한다.
• 딥 네럴 네트워크 보상 함수 근사기와 함께 비선형 환경에서도 DeepCCP-IRL은 작은 상태 공간과 큰 상태 공간 모두에서 DeepMaxEnt-IRL 대비 약 5배 빠르게 작동한다.
• 문제의 복잡도가 증가할수록 CCP-IRL의 계산적 이점이 커지며, 오브젝트월드에서 가치 반복의 수렴 시간이 길어지는 것을 고려할 때 DeepCCP-IRL은 성능 저하가 거의 없이 작동함을 확인할 수 있다.
• CCP-IRL은 안정적인 성능을 위해 MaxEnt-IRL보다 더 많은 전문가 경로가 필요하다—CCP 추정치의 신뢰성 확보를 위해 약 40개의 경로가 필요하며, 이는 MaxEnt-IRL의 약 20개보다 많다.
• CCP-IRL과 MaxEnt-IRL 모두 오브젝트월드에서 비선형 보상 구조를 성공적으로 포착하며, 유추된 보상 함수와 진짜 보상 함수 간의 정성적 일치로 이를 입증한다.