[논문 리뷰] State Alignment-based Imitation Learning

Fangchen Liu, Zhan Ling외 2명|arXiv (Cornell University)|2020. 04. 30.

Reinforcement Learning in Robotics참고 문헌 40인용 수 12

한 줄 요약

이 논문은 전문가와 모방자가 다름을 보이는 동역학을 가진 상황에서 정책 모방 성능을 향상시키기 위해 상태 정렬 기반의 강화학습 방법을 제안한다. 정규화된 강화학습 목적함수를 통해 국소적 및 전역적 시 perspectiv에서 상태 시퀀스를 정렬함으로써, 표준 및 도전적인 동역학 불일치 설정 모두에서 뛰어난 성능을 달성한다.

ABSTRACT

Consider an imitation learning problem that the imitator and the expert have different dynamics models. Most of existing imitation learning methods fail because they focus on the imitation of actions. We propose a novel state alignment-based imitation learning method to train the imitator by following the state sequences in the expert demonstrations as much as possible. The alignment of states comes from both local and global perspectives. We combine them into a reinforcement learning framework by a regularized policy update objective. We show the superiority of our method on standard imitation learning settings as well as the challenging settings in which the expert and the imitator have different dynamics models.

연구 동기 및 목표

• 모방자와 전문가가 다른 동역학 모델을 가진 상황에서의 정책 모방 학습 도전 과제를 해결하기 위해, 대부분의 기존 행동 중심 방법들이 취약해지는 문제를 다루기 위해.
• 행동 모방에서 상태 시퀀스 정렬으로의 초점을 이동시켜 동역학 불일치 상황에서의 정책 일반화를 향상시키기 위해.
• 국소적 및 전역적 상태 정렬을 통합하여 정책 학습을 이끄는 통합된 강화학습 프레임워크를 개발하기 위해.
• 표준 정책 모방 학습 벤치마크와 도전적인 동역학 불일치 시나리오 모두에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 전문가와 모방자의 궤적 간 국소적(단계별) 및 전역적(시퀀스 수준) 상태 대응을 고려하는 상태 정렬 메커니즘을 도입하기 위해.
• 모방자가 행동뿐 아니라 전문가의 상태 시퀀스를 따르도록 유도하기 위해 정규화된 정책 업데이트 목적함수를 제안하기 위해.
• 상태 궤적의 이탈을 처벌하는 손실 함수를 사용하여 상태 정렬을 강화학습 프레임워크에 통합하기 위해.
• 상태 정렬 품질에 기반한 보상 설계와 행동 복제를 조합하여 정책을 최적화하기 위해.
• 전문가 궤적과 모방자 궤적 간 최적의 상태 정렬을 계산하기 위해 동적 프로그래밍 또는 시퀀스 매칭 기법을 사용하기 위해.
• 정책 목적함수에 정규화 항을 도입하여 모방 정확도와 정책 탐색 간의 트레이드오프를 균형 잡기 위해.

실험 결과

연구 질문

• RQ1 전문가와 모방자의 동역학이 다를 경우 상태 시퀀스 정렬이 정책 모방 학습 성능을 향상시킬 수 있는가?
• RQ2 국소적 및 전역적 상태 정렬을 결합함으로써 정책 모방 학습에서 정책 일반화가 어떻게 향상되는가?
• RQ3 상태 정렬 기반의 정규화된 정책 업데이트가 동역학 불일치 환경에서 행동 기반 모방보다 우수한 성능을 내는가?
• RQ4 이 방법이 표준 및 도전적인 정책 모방 학습 벤치마크 전반에서 얼마나 일반화되는가?

주요 결과

• 제안된 방법은 표준 벤치마크 환경에서 기존의 정책 모방 학습 방법보다 뛰어난 성능을 달성한다.
• 모방자와 전문가가 상당히 다른 동역학 모델을 가진 설정에서 이 방법은 뚜렷한 성능 향상을 보인다.
• 국소적 및 전역적 시각을 모두 활용한 상태 정렬은 행동 중심 모방보다 더 안정적이고 정확한 정책 학습을 이끈다.
• 정규화된 정책 업데이트 목적함수는 모방 정확도와 정책 탐색을 효과적으로 균형 잡아 상태 궤적의 분리 현상을 줄인다.