[논문 리뷰] Situated GAIL: Multitask imitation using task-conditioned adversarial inverse reinforcement learning

Kyoichiro Kobayashi, Takato Horii외 3명|arXiv (Cornell University)|2019. 11. 01.

Reinforcement Learning in Robotics참고 문헌 26인용 수 7

한 줄 요약

이 논문은 다중 작업 비례 학습을 가능하게 하기 위해 작업 조건부 분류기와 생성기를 도입한 Generative Adversarial Imitation Learning의 확장판인 Situated GAIL(S-GAIL)을 제안한다. 이는 동시에 여러 보상 함수와 정책을 학습할 수 있도록 하며, AIRL의 보상 추정 능력과 InfoGAIL의 분리된 정책 학습 능력을 통합함으로써 이전의 프레임워크보다 빠른 수렴 속도와 향상된 성능을 달성한다. 이는 이산적 그리드월드 환경과 연속적인 로봇 암 환경 모두에서 입증되었다.

ABSTRACT

Generative adversarial imitation learning (GAIL) has attracted increasing attention in the field of robot learning. It enables robots to learn a policy to achieve a task demonstrated by an expert while simultaneously estimating the reward function behind the expert's behaviors. However, this framework is limited to learning a single task with a single reward function. This study proposes an extended framework called situated GAIL (S-GAIL), in which a task variable is introduced to both the discriminator and generator of the GAIL framework. The task variable has the roles of discriminating different contexts and making the framework learn different reward functions and policies for multiple tasks. To achieve the early convergence of learning and robustness during reward estimation, we introduce a term to adjust the entropy regularization coefficient in the generator's objective function. Our experiments using two setups (navigation in a discrete grid world and arm reaching in a continuous space) demonstrate that the proposed framework can acquire multiple reward functions and policies more effectively than existing frameworks. The task variable enables our framework to differentiate contexts while sharing common knowledge among multiple tasks.

연구 동기 및 목표

• GAIL 및 관련 프레임워크에서 단일 작업 학습의 한계를 해결하여, 서로 다른 보상 함수와 정책를 동시에 학습할 수 없음을 해결한다.
• 공통적인 역학과 표현을 공유하면서도 작업별로 특화된 정책과 보상 함수 추정을 유지함으로써 견고하고 효율적인 다중 작업 비례 학습을 가능하게 한다.
• 생성기의 목적 함수에 엔트로피 정규화 계수 보정(ERC) 항을 도입하여 학습의 수렴 속도와 정책 성능을 향상시킨다.
• AIRL의 보상 추정 능력과 InfoGAIL의 작업 조건부 메커니즘을 통합하여 명시적인 보상 함수 복원과 분리된 정책 학습을 가능하게 한다.
• 이 프레임워크가 이산적 및 연속적 제어 환경 모두에서 효과적임을 입증하여 다중 작업 비례 학습에서 뛰어난 성능을 보여준다.

제안 방법

• GAIL 프레임워크의 생성기와 분류기에 작업 변수 $ c $ 를 입력으로 도입하여 작업별 정책과 보상 함수 학습이 가능하도록 한다.
• AIRL의 분류기 구조를 채택하여 보상 함수를 적극적으로 모델링함으로써 보상 추정을 직접적으로 가능하게 한다.
• 생성기의 목적 함수를 수정하여 엔트로피 정규화 계수 보정(ERC) 항을 통합함으로써 학습 중 탐색과 이용 간의 동적 균형을 조절한다.
• 생성기와 분류기를 적대적으로 훈련함: 생성기는 작업 $ c $ 에 조건부로 전문가와 유사한 행동을 생성하고, 분류기는 전문가 시퀀스와 생성된 궤적을 구분한다.
• 공통된 상태-행동 역학을 위해 생성기와 분류기에서 공유 파라미터를 사용하면서도, 작업 변수 $ c $ 를 통해 작업별 적응을 허용한다.
• 이 프레임워크를 이산적 그리드월드 탐색 및 연속적인 로봇 암 도달 작업에 적용하여, 여러 목표를 위한 전문가 시퀀스를 사용한다.

실험 결과

연구 질문

• RQ1 단일 비례 학습 프레임워크가 모델을 중복하지 않고 서로 다른 작업에 대해 여러 보상 함수와 정책을 효과적으로 학습할 수 있는가?
• RQ2 생성기와 분류기에 작업 변수를 도입함으로써 표준 GAIL 또는 InfoGAIL에 비해 다중 작업 정책 및 보상 함수 학습이 어떻게 향상되는가?
• RQ3 엔트로피 정규화 계수 보정(ERC) 항이 다중 작업 비례 학습의 수렴 속도와 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 프레임워크는 연속 제어 환경으로 일반화될 수 있으며, 작업별 행동과 견고성을 유지할 수 있는가?
• RQ5 작업 간 모델 파라미터를 공유함으로써 별도의 모델을 독립적으로 훈련시키는 것보다 더 빠르고 안정적인 학습이 이루어지는가?

주요 결과

• S-GAIL는 이산적 그리드월드 환경과 연속적인 로봇 암 환경 모두에서 InfoGAIL 및 InfoGAIL with AIRL보다 뛰어난 성능을 보였으며, 학습 속도와 성공률 측면에서 뛰어난 성능을 보였다.
• 그리드월드 실험에서 S-GAIL는 기준 모델보다 더 이르게 높은 성공 시도 수(40회 중 35회 이상)를 달성하여 더 빠른 수렴을 보였다.
• 로봇 암 시뮬레이터에서 S-GAIL는 빨간색과 파란색 목표를 각각 독립적으로 도달하도록 학습했으며, 초기 상태가 잘못된 목표 근처에 있더라도 올바른 목표를 정확히 선택하는 것을 확인했다.
• 프레임워크는 로봇이 혼란 없이 정확한 목표로 매끄럽게 도달하는 것을 가능하게 하여, 효과적인 작업별 정책 및 보상 함수 추정이 이루어졌음을 시사한다.
• 생성기에서 공유된 파라미터 사용이 학습을 크게 가속화했으며, 이는 작업 간 공통 역학을 효율적으로 활용했기 때문이다.
• 엔트로피 정규화 계수 보정(ERC) 항은 기대 보상 최대화와 탐색 촉진 사이의 동적 균형을 가능하게 하여 수렴 속도 향상과 성능 향상에 기여했다.