[논문 리뷰] SQIL: Imitation Learning via Regularized Behavioral Cloning.

Siddharth Reddy, Anca D. Dragan외 1명|arXiv (Cornell University)|2019. 05. 27.

Reinforcement Learning in Robotics참고 문헌 13인용 수 33

한 줄 요약

이 논문은 보상 없이 행동 복제를 향상시키는 소프트 Q 강화 학습(소프트 Q Imitation Learning, SQIL)을 제안한다. 이 방법은 시연된 상태-행동 쌍에 대해 일정한 +1 보상과 나머지 경우 0의 보상을 부여함으로써, 보상 함수 학습 없이도 안정적이고 장기적인 환경에서의 모방 학습을 가능하게 한다. SQIL은 이미지 기반 및 연속 제어 작업에서 GAIL과 경쟁 가능한 성능을 달성하며, 행동 복제보다도 뛰어난 성능을 보인다.

ABSTRACT

Learning to imitate expert behavior from demonstrations can be challenging, especially in environments with high-dimensional, continuous observations and unknown dynamics. Supervised learning methods based on behavioral cloning (BC) suffer from distribution shift: because the agent greedily imitates demonstrated actions, it can drift away from demonstrated states due to error accumulation. Recent methods based on reinforcement learning (RL), such as inverse RL and generative adversarial imitation learning (GAIL), overcome this issue by training an RL agent to match the demonstrations over a long horizon. Since the true reward function for the task is unknown, these methods learn a reward function from the demonstrations, often using complex and brittle approximation techniques that involve adversarial training. We propose a simple alternative that still uses RL, but does not require learning a reward function. The key idea is to provide the agent with an incentive to match the demonstrations over a long horizon, by encouraging it to return to demonstrated states upon encountering new, out-of-distribution states. We accomplish this by giving the agent a constant reward of r=+1 for matching the demonstrated action in a demonstrated state, and a constant reward of r=0 for all other behavior. Our method, which we call soft Q imitation learning (SQIL), can be implemented with a handful of minor modifications to any standard Q-learning or off-policy actor-critic algorithm. Theoretically, we show that SQIL can be interpreted as a regularized variant of BC that uses a sparsity prior to encourage long-horizon imitation. Empirically, we show that SQIL outperforms BC and achieves competitive results compared to GAIL, on a variety of image-based and low-dimensional tasks in Box2D, Atari, and MuJoCo.

연구 동기 및 목표

• 고차원적이고 연속적인 관측 공간에서 오차 누적이 발생하는 행동 복제의 분포 이탈 문제를 해결하기 위해.
• 모방 학습에서 복잡한 보상 함수 학습이 필요 없도록 하여, 취약한 적대적 학습과 보상 추정의 필요성을 피하기 위해.
• 단지 시범 데이터와 표준 이완 정책 강화 학습 알고리즘만을 사용하여 장기적인 환경에서의 모방 학습을 가능하게 하기 위해.
• 이론적으로 탄탄한 정규화된 행동 복제의 변형을 개발하여 상태-행동 분포 일치를 장려하기 위해.
• GAIL과 같은 최신 기법들과 비교해도 경쟁 가능한 성능를 달성하면서도 더 단순하고 안정적인 방법을 확보하기 위해.

제안 방법

• SQIL은 에이전트의 상태-행동 쌍이 시범된 상태-행동 쌍과 일치할 경우 r = +1의 일정한 보상을 부여하고, 그 외의 경우 r = 0으로 설정한다.
• 이 보상 신호는 표준 Q-학습 또는 이완 정책 액터-크리틱 프레임워크에 통합되며, 수정이 거의 필요로 하지 않는다.
• 보상 신호는 희소성 우선순위 역할을 하여, 정책이 시범된 상태로 돌아오도록 유도하고 분포 이탈을 줄인다.
• 적대적 학습과 보상 함수 추정을 피하기 때문에, 학습 과정이 단순화되면서도 성능는 유지된다.
• 이 방법은 정규화된 행동 복제의 한 형태로 해석되며, 정규화는 장기적인 환경에서의 모방 학습을 장려한다.
• 이 방법은 이산 제어와 연속 제어 작업 모두에서 호환되며, 이미지 기반 관측에도 적합하다.

실험 결과

연구 질문

• RQ1 간단하고 보상 없는 모방 학습 방법이 고차원적이고 연속적인 제어 환경에서 표준 행동 복제보다 뛰어난 성능을 낼 수 있는가?
• RQ2 시범된 상태-행동 쌍에 대해 일정한 보상 신호가 분포 이탈을 효과적으로 줄이고 장기적인 성능을 향상시키는가?
• RQ3 적대적 보상 학습이나 복잡한 보상 함수 근사가 필요 없이 SQIL이 GAIL의 성능을 따라잡을 수 있는가?
• RQ4 Box2D, Atari, MuJoCo와 같은 다양한 환경에서 SQIL은 BC 및 GAIL과 비교해 어떻게 성능를 보이는가?
• RQ5 색상 입력을 포함한 다양한 관측 모odalities를 가진 작업들에서 SQIL은 견고하고 일반화 가능한가?

주요 결과

• SQIL은 평가된 모든 작업에서 표준 행동 복제를 능가하며, 정책 이탈 감소와 더 나은 샘플 효율성 확보를 보였다.
• SQIL은 Box2D, Atari, MuJoCo의 이미지 기반 및 저차원 제어 작업에서 GAIL과 비교해도 경쟁 가능한 성능를 달성했다.
• 고차원 관측 환경, 예를 들어 픽셀 입력이 포함된 환경에서는 BC에 비해 일관된 성능 향상을 보였다.
• SQIL은 적대적 학습이나 보상 함수 학습이 필요 없어, 더 단순하고 안정적인 학습 과정을 제공한다.
• 일정한 보상 메커니즘이 에이전트가 시범된 상태로 되돌아오도록 효과적으로 유도하여 분포 이탈을 완화한다.
• 실험 결과에 따르면, SQIL은 이산 제어 및 연속 제어 설정을 포함한 다양한 환경에서 잘 일반화됨을 보였다.