[논문 리뷰] State-only Imitation with Transition Dynamics Mismatch

Tanmay Gangwani, Jian Peng|arXiv (Cornell University)|2020. 02. 27.

Reinforcement Learning in Robotics참고 문헌 28인용 수 10

한 줄 요약

이 논문은 전이 동역학 불일치 하에서 전문가의 동작 정보 없이 상태 전용 전문가 트레이젝터리만을 사용하여 효과적인 정책 전이를 가능하게 하는 간접적 타도학습 방법 I2L를 제안한다. I2L는 IRL 목적함수를 두 개의 반복적 하위문제로 분해함으로써 성능을 향상시킨다: AIRL를 통한 정책 타도학습과 워샤르슈타인 크리틱을 통한 분포 일치. 이로 인해 GAIL-S 및 GAIfO와 같은 기준 방법들보다 뛰어난 성능을 보이며, 특히 동역학 불일치 상황에서 뛰어난 성능을 발휘한다.

ABSTRACT

Imitation Learning (IL) is a popular paradigm for training agents to achieve complicated goals by leveraging expert behavior, rather than dealing with the hardships of designing a correct reward function. With the environment modeled as a Markov Decision Process (MDP), most of the existing IL algorithms are contingent on the availability of expert demonstrations in the same MDP as the one in which a new imitator policy is to be learned. This is uncharacteristic of many real-life scenarios where discrepancies between the expert and the imitator MDPs are common, especially in the transition dynamics function. Furthermore, obtaining expert actions may be costly or infeasible, making the recent trend towards state-only IL (where expert demonstrations constitute only states or observations) ever so promising. Building on recent adversarial imitation approaches that are motivated by the idea of divergence minimization, we present a new state-only IL algorithm in this paper. It divides the overall optimization objective into two subproblems by introducing an indirection step and solves the subproblems iteratively. We show that our algorithm is particularly effective when there is a transition dynamics mismatch between the expert and imitator MDPs, while the baseline IL methods suffer from performance degradation. To analyze this, we construct several interesting MDPs by modifying the configuration parameters for the MuJoCo locomotion tasks from OpenAI Gym.

연구 동기 및 목표

• 전문가의 전문가 트레이젝터리를 수집한 환경의 동역학과 이 miterator의 환경 동역학이 다를 경우 타도학습의 과제를 해결한다.
• 전문가의 동작을 기반으로 하는 직접 타도학습 방법의 한계를 극복하며, 전문가 MDP와 이 miterator MDP 간의 동일한 동역학을 가정한다.
• 실제 세계 상황(예: 운동 감지 또는 영상 기반 감독)에서 더 쉽게 확보할 수 있는 상태 전용 전문가 트레이젝터리만을 사용하여 효과적인 타도학습을 가능하게 한다.
• 최적화 과정에서 간접 단계로 중간 분포를 도입하여 동역학 불일치에 강건한 방법을 개발한다.
• 실제로 불일치된 동역학(예: 중력 또는 마찰 계수 변화)이 존재하는 연속 제어 작업에서 샘플 효율성과 성능을 향상시킨다.

제안 방법

• 최대 엔트로피 역강화 학습 목적함수를 하한 근사에 의해 두 하위문제로 분해하는 간접 타도학습 프레임워크(I2L)를 제안한다.
• 트레이젝터리 버퍼를 통해 중간 상태-행동 방문 분포 $\tilde{\rho}$ 를 표현하며, 학습 중에 반복적으로 업데이트한다.
• AIRL를 사용하여 이 miterator 정책이 $\tilde{\rho}$ 와 일치하도록 학습시키며, 정책의 상태-행동 방문 분포와 버퍼의 분포 간의 발산을 최소화한다.
• 워샤르슈타인 크리틱을 사용하여 버퍼($\tilde{\rho}$)의 상태 방문 분포와 전문가($\rho^*$)의 상태 방문 분포 간의 워샤르슈타인 거리를 동시에 최소화한다.
• 정책 타도학습과 버퍼-전문가 분포 일치를 반복적으로 최적화함으로써 동역학 불일치에 대한 강건한 적응이 가능하다.
• 버퍼 크기가 제한된 우선순위 큐 버퍼를 사용하여 트레이젝터리를 저장하고 업데이트하며, 버퍼 크기의 영향을 분석한 아블레이션 스터디에서 버퍼 크기에 대해 강건함을 입증했다.

실험 결과

연구 질문

• RQ1 이 miterator의 환경 동역학이 전문가와 크게 다를 경우 상태 전용 타도학습이 효과적으로 작동할 수 있는가?
• RQ2 간접 단계로 중간 분포를 도입함으로써 직접 타도학습 방법 대비 동역학 불일치에 대한 강건성이 향상되는가?
• RQ3 I2L는 동역학 불일치 하에서 GAIfO 및 GAIL-S와 같은 최신 상태의 상태 전용 IL 기준 방법들보다 어떻게 비교되는가?
• RQ4 버퍼 용량이 I2L 프레임워크의 성능과 안정성에 어떤 영향을 미치는가?
• RQ5 하한 근사와 워샤르슈타인 거리 측정법이 알고리즘의 수렴성과 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• I2L는 동역학 불일치 상황에서 GAIL-S 및 GAIfO보다 유의미하게 높은 최종 성능을 기록한다. 예를 들어 저중력 하프체타(3975 vs. 923) 및 고마찰 허퍼(2084 vs. 810)에서 뚜렷한 성능 향상을 보였다.
• 동역학 불일치가 없는 상황에서는 I2L도 높은 성능(예: 하프체타의 5240)을 유지하며, 전문가의 동작이 필요 없음에도 불구하고 GAIL 및 AIRL와 유사하거나 뛰어난 성능을 보였다.
• I2L는 버퍼 용량에 대해 강건하며, 낮은 용량(예: 1개의 트레이젝터리)에서도 성능이 안정되었고, 높은 용량(50개의 트레이젝터리)에서도 유의미한 성능 저하 없이 안정성을 유지했다.
• 최대 엔트로피 IRL 목적함수의 하한 근사 갭이 학습 과정 중 감소함에 따라 최적화의 정밀도가 향상됨을 확인했다.
• 버퍼와 전문가의 상태 방문 분포 간의 경험적 워샤르슈타인 거리가 시간이 지남에 따라 감소함을 확인하여 효과적인 분포 일치가 이루어졌음을 입증했다.
• 전문가의 동작이 존재하는 상황에서도 동역학 불일치가 있을 경우 GAIL 및 AIRL는 I2L에 비해 성능이 열 劣함을 보였으며, 이는 동역학이 다를 경우 전문가의 동작이 최적화되지 않음을 시사한다.