[논문 리뷰] Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees

Siliang Zeng, Chenliang Li외 2명|arXiv (Cornell University)|2022. 10. 04.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 유한 시간 수렴을 달성하면서 보상 추정 정확도를 희생시키지 않는 단일 루프 최대우도 역강화학습 알고리즘을 제안한다. 정책 개선과 우도 최대화를 위한 확률적 경사 하강 단계를 조합함으로써, 이 방법은 MuJoCo 로봇 작업에서 기존의 IRL 및 모방학습 기준을 초월하며 이론적 보장을 유지한다.

ABSTRACT

Inverse reinforcement learning (IRL) aims to recover the reward function and the associated optimal policy that best fits observed sequences of states and actions implemented by an expert. Many algorithms for IRL have an inherently nested structure: the inner loop finds the optimal policy given parametrized rewards while the outer loop updates the estimates towards optimizing a measure of fit. For high dimensional environments such nested-loop structure entails a significant computational burden. To reduce the computational burden of a nested loop, novel methods such as SQIL [1] and IQ-Learn [2] emphasize policy estimation at the expense of reward estimation accuracy. However, without accurate estimated rewards, it is not possible to do counterfactual analysis such as predicting the optimal policy under different environment dynamics and/or learning new tasks. In this paper we develop a novel single-loop algorithm for IRL that does not compromise reward estimation accuracy. In the proposed algorithm, each policy improvement step is followed by a stochastic gradient step for likelihood maximization. We show that the proposed algorithm provably converges to a stationary solution with a finite-time guarantee. If the reward is parameterized linearly, we show the identified solution corresponds to the solution of the maximum entropy IRL problem. Finally, by using robotics control problems in MuJoCo and their transfer settings, we show that the proposed algorithm achieves superior performance compared with other IRL and imitation learning benchmarks.

연구 동기 및 목표

• 고차원 환경에서 전통적인 이중 루프 IRL 알고리즘의 높은 계산 비용을 해결하기 위해.
• 계산 부담을 줄이면서도 높은 보상 추정 정확도를 유지하여 반사적 분석과 정책 이행을 가능하게 하기 위해.
• 유한 시간 보장이 있는 정적 해로 수렴하는 단일 루프 알고리즘을 개발하기 위해.
• 보상이 선형적으로 파arameter화된 경우, 식별된 해가 최대 엔트로피 IRL 해와 일치함을 보장하기 위해.
• 기존의 IRL 및 모방학습 방법과 비교해 로봇 제어 작업 및 이행 학습 설정에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 기존의 이중 루프 구조를 단일 루프 프레임워크로 대체하여, 정책 개선과 우도 최대화를 위한 확률적 경사 하강 단계를 번갈아 수행한다.
• 각 정책 개선 단계 이후에 관측된 전문가의 시범을 최대한 잘 설명하는 확률적 경사 업데이트를 수행한다.
• 리아푸노프 분석과 확률적 근사 이론을 사용하여 정적 해로의 유한 시간 수렴을 증명한다.
• 보상이 선형적으로 파arameter화된 경우, 이 방법이 최대 엔트로피 IRL 문제의 해로 수렴함을 보여준다.
• 복잡한 제어 작업과 이행 학습에 대한 성능 평가를 위해 알고리즘을 MuJoCo 환경에 적용한다.
• 보상의 정밀도를 유지함으로써 SQIL 및 IQ-Learn에서 관찰되는 정책과 보상 추정 정확도 간의 상충관계를 피한다.

실험 결과

연구 질문

• RQ1 단일 루프 IRL 알고리즘이 유한 시간 수렴을 달성하면서도 높은 보상 추정 정확도를 유지할 수 있는가?
• RQ2 선형 보상 파arameter화 하에서 제안된 방법이 최대 엔트로피 IRL 해로 수렴하는가?
• RQ3 이 알고리즘은 복잡한 로봇 제어 작업에서 최첨단 IRL 및 모방학습 방법과 비교해 어떻게 성능을 발휘하는가?
• RQ4 정확한 보상 추정 덕분에 반사적 분석을 지원할 수 있는가?
• RQ5 환경 동역학이 변경된 상태에서의 이행 학습 설정에서 알고리즘의 성능는 어떠한가?

주요 결과

• 제안된 알고리즘은 정적 해로의 유한 시간 수렴을 달성하여, 많은 기존 IRL 방법에 존재하지 않는 이론적 보장을 제공한다.
• 선형 보상 파arameter화 하에서 식별된 해는 정확히 최대 엔트로피 IRL 문제의 해와 일치한다.
• MuJoCo 로봇 제어 작업에서 벤치마크 IRL 및 모방학습 알고리즘보다 뛰어난 성능을 보이며, 더 높은 샘플 효율성과 정책 성능을 입증한다.
• 알고리즘은 높은 보상 추정 정확도를 유지하여 환경 동역학이 변화한 상황에서도 신뢰할 수 있는 반사적 정책 예측을 가능하게 한다.
• 이행 학습 설정에서 새로운 작업으로 잘 일반화되며, 학습된 보상 함수의 강건성과 이행 가능성에 대한 증거를 제공한다.
• 단일 루프 설계 덕분에 이중 루프 IRL 대비 계산 오버헤드를 크게 줄였으며, 보상 추정 품질에 영향을 주지 않는다.