[논문 리뷰] Error Bounds of Imitating Policies and Environments

Tian Xu, Ziniu Li외 1명|arXiv (Cornell University)|2020. 01. 01.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 정책과 환경에 대한 암시적 학습에서의 오차 한계를 분석하며, 행동 복제와 생성적 적대적 암시적 학습을 비교한다. 적대적 암시적 학습이 누적 오차를 줄여 정책 암시적 학습의 샘플 복잡도를 향상시키고, 더 효과적인 환경 모델 학습을 가능하게 하여 모델 기반 강화 학습을 향상시킨다.

ABSTRACT

Imitation learning trains a policy by mimicking expert demonstrations. Various imitation methods were proposed and empirically evaluated, meanwhile, their theoretical understanding needs further studies. In this paper, we firstly analyze the value gap between the expert policy and imitated policies by two imitation methods, behavioral cloning and generative adversarial imitation. The results support that generative adversarial imitation can reduce the compounding errors compared to behavioral cloning, and thus has a better sample complexity. Noticed that by considering the environment transition model as a dual agent, imitation learning can also be used to learn the environment model. Therefore, based on the bounds of imitating policies, we further analyze the performance of imitating environments. The results show that environment models can be more effectively imitated by generative adversarial imitation than behavioral cloning, suggesting a novel application of adversarial imitation for model-based reinforcement learning. We hope these results could inspire future advances in imitation learning and model-based reinforcement learning.

연구 동기 및 목표

• 행동 복제와 생성적 적대적 암시적 학습 하에서 전문가 정책과 암시적 정책 간의 가치 갭을 이론적으로 분석하기 위해.
• 오차 누적 현상이 암시적 학습의 샘플 복잡도에 어떤 영향을 미치는지 조사하기 위해.
• 환경 전이를 이중 에이전트로 간주함으로써 환경 동역학을 암시적 학습으로 학습하는 데의 적용을 탐색하기 위해.
• 행동 복제와 생성적 적대적 암시적 학습 간의 환경 모델 학습 성능을 비교하기 위해.
• 적대적 암시적 학습을 모델 기반 강화 학습에 사용하기 위한 이론적 기반을 구축하기 위해.

제안 방법

• 행동 복제와 생성적 적대적 암시적 학습 하에서 암시적 정책에 대한 이론적 오차 한계를 유도하기 위해.
• 환경 전이를 이중 에이전트로 모델링하여 환경 역학을 암시적 학습으로 가능하게 하기 위해.
• 정책 암시적 학습에서의 오차 누적 영향과 샘플 복잡도에 미치는 영향을 분석하기 위해.
• 동일한 이론적 프레임워크를 적용하여 환경 모델 학습 성능을 평가하기 위해.
• 행동 복제와 생성적 적대적 암시적 학습을 통해 학습된 환경 모델의 일반화 및 강건성 비교하기 위해.
• 공식적 한계를 사용하여 적대적 암시적 학습이 오차 전파와 모델 정확도 향상에 기여하는 정도를 정량화하기 위해.

실험 결과

연구 질문

• RQ1 행동 복제와 생성적 적대적 암시적 학습 간의 정책 암시적 학습에서 오차 한계는 어떻게 다를까?
• RQ2 생성적 적대적 암시적 학습은 행동 복제에 비해 오차 누적을 얼마나 줄일 수 있을까?
• RQ3 환경 전이를 이중 에이전트로 간주함으로써 암시적 학습을 통해 환경 전이 모델을 효과적으로 학습할 수 있을까?
• RQ4 행동 복제와 생성적 적대적 암시적 학습 간의 환경 모델 학습 성능는 어떻게 비교될까?
• RQ5 이러한 한계의 함의는 샘플 복잡도와 모델 기반 강화 학습에 어떤 영향을 미칠까?

주요 결과

• 생성적 적대적 암시적 학습은 행동 복제보다 오차 누적을 더 효과적으로 줄여 정책 암시적 학습에서 더 나은 샘플 복잡도를 달성한다.
• 이론적 한계는 적대적 암시적 학습이 행동 복제보다 정책 성능에 대해 더 날카로운 오차 한계를 확보함을 보여준다.
• 환경 전이를 암시적 학습에서 이중 에이전트로 간주함으로써 환경 모델을 효과적으로 학습할 수 있다.
• 생성적 적대적 암시적 학습은 더 나은 오차 한계로 인해 행동 복제보다 더 정확한 환경 모델을 생성한다.
• 결과적으로 오차 전파에 대한 강건성 때문에 적대적 암시적 학습이 모델 기반 강화 학습에 더 적합하다는 것이 제안된다.
• 이론적 프레임워크는 암시 기반 접근법에서 정책 및 환경 모델 학습의 분석과 향상에 기초를 제공한다.