[논문 리뷰] Addressing Optimism Bias in Sequence Modeling for Reinforcement Learning

Adam Villaflor, Zhe Huang외 3명|arXiv (Cornell University)|2022. 07. 21.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 행동과 상태 전이에 대해 별도의 이산 잠재 변수 VAE를 사용하여 오프라인 강화학습에서 정책과 세계 동역학 모델링을 분리하는 SeParated Latent Trajectory Transformer (SPLT)를 제안한다. 다양한 가능한 미래에 대한 강건하고 낙관적이지 않은 계획을 가능하게 함으로써, SPLT는 확률적인 자율주행 환경에서 트랜스포머 기반 베이스라인보다 우수한 성능을 보이며, CARLA 리더보드에서 주행 점수 68.5±3.9를 기록하여 최신 기술 수준에 도달했다.

ABSTRACT

Impressive results in natural language processing (NLP) based on the Transformer neural network architecture have inspired researchers to explore viewing offline reinforcement learning (RL) as a generic sequence modeling problem. Recent works based on this paradigm have achieved state-of-the-art results in several of the mostly deterministic offline Atari and D4RL benchmarks. However, because these methods jointly model the states and actions as a single sequencing problem, they struggle to disentangle the effects of the policy and world dynamics on the return. Thus, in adversarial or stochastic environments, these methods lead to overly optimistic behavior that can be dangerous in safety-critical systems like autonomous driving. In this work, we propose a method that addresses this optimism bias by explicitly disentangling the policy and world models, which allows us at test time to search for policies that are robust to multiple possible futures in the environment. We demonstrate our method's superior performance on a variety of autonomous driving tasks in simulation.

연구 동기 및 목표

• 트랜스포머 기반 시퀀스 모델링에서의 낙관적 편향을 해결하기 위해, 이는 확률적 또는 적대적인 환경에서 과도하게 낙관적인 행동을 유도한다.
• 환경 동역학이 다중모달적일 수 있고 협력적이지 않을 수 있는 안전이 중요한 도메인인 자율주행과 같은 분야에서의 강건성을 향상시키기 위해.
• 다양한 미래 경로를 탐색하면서도 계산 효율성을 유지하는 테스트 시 계획 기능을 가능하게 하기 위해.
• 복잡하고 확률적인 벤치마크인 CARLA 리더보드에서 기존의 시퀀스 모델링 접근 방식—특히 통합된 상태-행동 모델링에 의존하는 것들—을 능가하기 위해.
• 정책과 동역학 모델링을 분리함으로써 실제 시뮬레이션 환경에서 더 신뢰할 수 있고 안전한 의사결정이 가능해지는지 입증하기 위해.

제안 방법

• 정책(행동 시퀀스)과 세계 동역학(상태 전이)에 대해 별도의 이산 잠재 변수 변동형 오토인코더(VAE)를 훈련한다.
• 정책 VAE는 목표 수익을 조건으로 하여 행동 시퀀스의 분리된 표현을 학습함으로써, 고성과 행동을 탐색할 수 있도록 한다.
• 동역학 VAE는 행동과 초기 상태에 따라 상태 전이를 모델링하여 다중모달적이고 확률적인 결과를 포착한다.
• 테스트 시, 두 모델의 잠재 코드를 함께 탐색하여 다양한 환경 반응에 강건한 행동 시퀀스를 찾는다.
• 계획 과정은 가능한 미래 상태에 대해 최소화하는 낙관적이지 않은 전략을 사용하여, 협력적 또는 결정론적인 결과에 대한 과도한 확신을 피한다.
• 프레임워크는 엔드 투 엔드 미분 가능하며, 트랜스포머의 고용량 모델링 능력을 활용하여 궤적 내 장거리 의존성을 포착한다.

실험 결과

연구 질문

• RQ1 시퀀스 기반 오프라인 RL에서 정책과 동역학 모델링을 분리하면 확률적 환경에서의 낙관적 편향을 줄일 수 있는가?
• RQ2 정책과 동역학 표현을 분리하면 복잡하고 다중모달적인 자율주행 벤치마크에서 성능에 어떤 영향을 미치는가?
• RQ3 협력적이지 않거나 적대적인 설정에서, 분리된 계획 기반 메커니즘이 통합 모델링 접근 방식에 비해 얼마나 더 강건한가?
• RQ4 실제 주행 시뮬레이션에서 최신 기술 수준의 시퀀스 모델링 및 오프라인 RL 베이스라인에 비해 안전성과 작업 완료율을 더 높일 수 있는가?
• RQ5 환경 행동이 완전히 협력적이지 않은 실세계 유사 확률적 상황으로 일반화 가능한가?

주요 결과

• SPLT는 CARLA 리더보드에서 주행 점수 68.5±3.9를 기록하여, 모든 트랜스포머 기반 베이스라인을 능가했으며, 특권을 가진 오토파ilot 수준에 가까운 성능을 달성했다.
• SPLT는 경로 완료율 94.6±7.7%를 기록했으며, BC(95.3±5.4%)와 DT(m)(96.2±5.4%)를 상회했고, 충돌(1.9±0.5회/km)과 위반(2.3±1.1회/km) 비율도 낮게 유지했다.
• SPLT는 Trajectory Transformer(TT)보다 총점에서 12.8점 높게 기록했으며, 이는 TT의 단순한 빔 서치가 협력적이지 않은 환경에서 낙관적 편향을 악용함을 시사한다.
• IQL을 사용할 경우 100%의 경로 완료율을 달성했지만, SPLT는 더 낮은 충돌 및 위반 비율과 더 나은 일반화 능력을 유지하여 분포 이탈에 더 강건함을 보였다.
• SPLT는 분리된 모델링이 낙관적이지 않은 계획을 효과적으로 가능하게 하여, 협력적인 환경 결과에 대한 과도한 확신을 줄일 수 있음을 입증했다.
• 결과는 정책과 동역학 모델링을 분리함으로써 확률적이고 안전이 중요한 환경, 예를 들어 자율주행과 같은 환경에서 더 신뢰할 수 있고 안전한 의사결정이 가능하다는 것을 확인한다.