[논문 리뷰] Non-Adversarial Imitation Learning and its Connections to Adversarial Methods

Oleg Arenz, Gerhard Neumann|arXiv (Cornell University)|2020. 08. 08.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 6

한 줄 요약

이 논문은 GAIL 및 AIRL와 같은 적대적 방법을 비적대적 최적화 문제로 재구성하는 비적대적 타도학습 프레임워크를 제안한다. 이는 큰 정책 갱신에서도 안정적인 훈련을 가능하게 한다. 역 KL 발산의 상한을 유도하고 기대값-최대화 유사 반복적 강화를 통해 상한을 점진적으로 조여서, 더 강력한 수렴 보장을 달성하며, AIRL의 이론적 근거를 단순화한다. AIRL는 제안된 프레임워크의 특수한 경우로 밝혀졌다.

ABSTRACT

Many modern methods for imitation learning and inverse reinforcement learning, such as GAIL or AIRL, are based on an adversarial formulation. These methods apply GANs to match the expert's distribution over states and actions with the implicit state-action distribution induced by the agent's policy. However, by framing imitation learning as a saddle point problem, adversarial methods can suffer from unstable optimization, and convergence can only be shown for small policy updates. We address these problems by proposing a framework for non-adversarial imitation learning. The resulting algorithms are similar to their adversarial counterparts and, thus, provide insights for adversarial imitation learning methods. Most notably, we show that AIRL is an instance of our non-adversarial formulation, which enables us to greatly simplify its derivations and obtain stronger convergence guarantees. We also show that our non-adversarial formulation can be used to derive novel algorithms by presenting a method for offline imitation learning that is inspired by the recent ValueDice algorithm, but does not rely on small policy updates for convergence. In our simulated robot experiments, our offline method for non-adversarial imitation learning seems to perform best when using many updates for policy and discriminator at each iteration and outperforms behavioral cloning and ValueDice.

연구 동기 및 목표

• GAIL 및 AIRL와 같은 적대적 타도학습 방법이 악화된 최적화 행동과 작은 정책 갱신이 필요한 점을 해결한다.
• 적대적 방법과 동일한 인도적 편향을 유지하면서도 큰 단계의 정책 최적화가 가능한 비적대적 재구성 타도학습을 제공한다.
• 제안된 비적대적 프레임워크의 특정 사례로 AIRL가 동일시됨을 보여 이론적 기반을 명확히 하고, 그 이론적 유도를 단순화하며 수렴 보장을 강화한다.
• 기존의 작은 정책 갱신이 필요로 하는 것과는 달리, 새로운 비적대적 재구성에 기반한 오프라인 타도학습 알고리즘을 개발한다.
• 시뮬레이션된 로봇 환경에서 제안된 방법이 행동 복제와 ValueDice를 능가함을 보여주며, 특히 반복당 높은 빈도의 정책 갱신을 사용할 경우에 유의미한 성능 향상을 보인다.

제안 방법

• 전문가와 에이전트의 상태-행동 분포 간 역 KL 발산의 상한을 기반으로 한 비적대적 타도학습 프레임워크를 제안한다.
• 디스크림이터에 의해 추정된 밀도 비율에서 유도된 보상 신호를 도입하며, 이는 이전 정책의 분포로 고정되어 있어, 탐욕적 갱신에 따라 악화되는 정책 특화 보상 신호를 피한다.
• 기대값-최대화 유사 반복 최적화 기법을 사용하여, 각 단계에서 상한을 점진적으로 조여가며 최적화함으로써 단조 증가 보장과 수렴을 확보한다.
• 소프트 Q-함수 최적화로 목적 함수를 재구성하며, 하한 보상 함수를 사용함으로써 큰 갱신에도 불구하고 정책 개선이 가능하도록 한다.
• 오프라인 데이터에 프레임워크를 적용하여 새로운 오프라인 타도학습 알고리즘을 유도함으로써, 수렴을 위해 작은 정책 갱신에 의존하지 않도록 한다.
• AIRL가 제안된 비적대적 프레임워크의 특정 사례임을 보여주며, AIRL를 비적대적 방법으로 재해석하는 새로운 이론적 시 perspectiv를 제공한다.

실험 결과

연구 질문

• RQ1 적대적 방법인 GAIL 및 AIRL의 성능를 유지하면서도 큰 정책 갱신에서도 안정적인 최적화와 수렴을 보장하는 비적대적 타도학습 프레임워크를 설계할 수 있는가?
• RQ2 제안된 비적대적 프레임워크는 기존의 적대적 방법들(예: AIRL)과 어떻게 관련이 있으며, 이들에 대한 더 명확한 이론적 기반을 제공할 수 있는가?
• RQ3 제안된 프레임워크를 활용하여 작은 정책 갱신이 필요로 하지 않는 새로운 오프라인 타도학습 알고리즘을 유도할 수 있는가?
• RQ4 비적대적 재구성은 행동 복제 및 ValueDice에 비해 오프라인 타도학습에서 더 높은 샘플 효율성과 성능 향상을 이끌 수 있는가?
• RQ5 역 KL 발산 상한을 반복적으로 효과적으로 조여서 단조 증가 보장과 최적 정책 수렴을 보장할 수 있는가?

주요 결과

• 제안된 비적대적 프레임워크는 적대적 방법이 작은 갱신이 필요로 하는 것과는 달리, 큰 정책 갱신에도 불구하고 최적 정책으로의 수렴을 보장한다.
• AIRL가 제안된 비적대적 재구성의 특수한 사례임을 엄밀히 증명함으로써, AIRL의 이론적 유도를 단순화하고 더 강력한 수렴 보장을 제공한다.
• 비적대적 프레임워크는 작은 정책 갱신이 필요로 하지 않는 새로운 오프라인 타도학습 알고리즘을 도출할 수 있게 하여, 시뮬레이션에서 행동 복제 및 ValueDice를 모두 능가하는 성능을 보였다.
• 시뮬레이션된 로봇 실험에서, 반복당 많은 정책 및 디스크림이터 갱신을 사용할 경우, 제안된 프레임워크 기반의 오프라인 방법이 가장 높은 성능을 기록했다.
• 현재 정책에서 분리된 보상 신호를 사용하여 훈련 안정성을 향상시켰으며, 이는 이전 정책의 고정된 밀도 비율을 사용함으로써, 적대적 방법에서 흔히 발생하는 보상 신호 악화를 방지한다.
• 이론적 분석을 통해 반복적 강화 절차 하에서 목적 함수가 단조 증가함을 확인하였으며, 이는 전문가 정책 분포로의 수렴을 보장한다.