[논문 리뷰] Causal Imitation Learning under Temporally Correlated Noise

Gokul Swamy, Sanjiban Choudhury외 2명|arXiv (Cornell University)|2022. 02. 02.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 전문가 시범에서 시간에 따라 상관되는 노이즈(TCN)로 인한 정책 열화를 완화하기 위해 과거 상태를 통 instrumental 변수로 사용하는 두 가지 인과적 모방 학습 알고리즘인 DoubIL과 ResiduIL을 제안한다. 과거 정보를 활용해 허위의 상태-행동 상관관계를 제거함으로써, 상호작용이 가능한 전문가 접근 없이도 일관된 정책 복원을 달성하며, TCN 하에서 행동 모방보다 우수한 성능을 보인다. 시뮬레이션 제어 과제에서 검증되었다.

ABSTRACT

We develop algorithms for imitation learning from policy data that was corrupted by temporally correlated noise in expert actions. When noise affects multiple timesteps of recorded data, it can manifest as spurious correlations between states and actions that a learner might latch on to, leading to poor policy performance. To break up these spurious correlations, we apply modern variants of the instrumental variable regression (IVR) technique of econometrics, enabling us to recover the underlying policy without requiring access to an interactive expert. In particular, we present two techniques, one of a generative-modeling flavor (DoubIL) that can utilize access to a simulator, and one of a game-theoretic flavor (ResiduIL) that can be run entirely offline. We find both of our algorithms compare favorably to behavioral cloning on simulated control tasks.

연구 동기 및 목표

• 전문가 시범에서 시간에 따라 상관되는 노이즈(TCN)로 인한 모방 학습의 혼동 문제를 수식적으로 정의한다.
• 상호작용이 가능한 전문가 질의나 진정한 전문가 정책에 대한 접근이 필요 없는 일관된 모방 학습 알고리즘을 개발한다.
• 통제 변수 회귀(IVR)를 사용하여 TCN 하에서 정책 복원의 이론적 성능 한계를 제공한다.
• 제안된 방법을 시뮬레이션 제어 환경에서 실증적으로 검증하고, TCN의 지속성의 학습 성능에 미치는 영향을 평가한다.

제안 방법

• 저자들은 TCN을 다중 타임스텝에 영향을 주는 관측되지 않은 혼동요인으로 모델링하여 상태와 행동 간의 허위 상관관계를 생성한다.
• 과거 상태를 통 instrumental 변수로 사용하여 학습 과정의 혼동을 제거하며, 이는 과거 상태가 향후 혼동요인과 독립적이라는 사실을 활용한다.
• DoubIL은 시뮬레이터를 사용해 과거 상태에서 상태 전이를 재시뮬레이션함으로써 표본 복잡도를 감소시키는 생성 모델링 접근법이다.
• ResiduIL은 시뮬레이터가 필요 없는 게임 이론 기반 방법으로, 이중 최소화 프레임워크 내에서 잔차를 최소화하여 정책을 추정한다.
• 두 방법 모두 현대적 통제 변수 회귀(IVR)에 기반하며, 공통된 이론적 기반을 가진 통합적인 유도 과정을 제공한다.
• 이론적 한계는 조건수 $\kappa(\Pi)$를 사용하여 유도되며, 이는 불안정성 정도를 측정하고 TCN 하에서 성능이 $\sqrt{\epsilon}T^2$ 비례로 스케일링됨을 보여준다.

실험 결과

연구 질문

• RQ1 행동 모방과 IVR 기반 방법 간의 단순 비교를 통해 전문가 시범 데이터에 시간에 따라 상관되는 노이즈가 존재하는지 탐지할 수 있는가?
• RQ2 시간에 따라 상관되는 노이즈의 지속성이 모방 학습 알고리즘의 성능 및 안정성에 어떤 영향을 미치는가?
• RQ3 과거 상태는 관측되지 않은 혼동요인으로 인해 발생하는 상태-행동 상관관계를 해소하는 데 유효한 통제 변수가 될 수 있는가?
• RQ4 DoubIL과 ResiduIL은 상호작용이 가능한 전문가 접근 없이도 TCN 하에서 전문가 정책과 가치 등가를 달성할 수 있는가?
• RQ5 조건수 $\kappa(\Pi)$와 전문가 정책과 학습된 정책 간의 성능 격차 사이의 이론적 관계는 무엇인가?

주요 결과

• DoubIL과 ResiduIL은 특히 저자료 환경에서, LunarLander-v2에서 혼동이 제거된 전문가 정책 $\mathbb{E}[a|do(s)]$ 를 행동 모방보다 뚜렷하게 초월한다.
• HalfCheetahBulletEnv와 AntBulletEnv에서는 충분한 데이터가 제공될 경우 두 방법 모두 전문가 성능에 거의 도달하지만, 행동 모방은 TCN 하에서 전문가 정책으로 수렴하지 못한다.
• 혼동요인의 지속성 증가에 따라 행동 모방과 IVR 기반 방법 간의 성능 격차가 이론적 예측과 같이 증가한다.
• 실증적 검증을 통해 $\mathbb{E}[u|s] = \pi_{BC}(s) - \pi_{IV}(s)$ 를 확인하였으며, 이는 모델 비교를 통한 혼동 탐지 가능성을 제공한다.
• 조건수 $\kappa(\Pi;H)$ 는 혼동요인이 지속되는 타임스텝 수 $H$ 가 증가할수록 증가하며, 이는 더 큰 불안정성과 잠재적인 성능 격차를 의미한다.
• 이론적 분석을 통해 전문가 정책과 학습된 정책 간의 성능 격차는 $c\kappa(\Pi)\sqrt{\epsilon}T^2$ 로 유계임을 보여주며, TCN 하에서의 일관성에 대한 공식적 보장을 제공한다.