[논문 리뷰] Conditional Driving from Natural Language Instructions

Junha Roh, Chris Paxton외 3명|arXiv (Cornell University)|2019. 10. 16.

Multimodal Machine Learning Applications참고 문헌 28인용 수 10

한 줄 요약

이 논문은 자연어 지시를 해석하고 이미지 관측값과 조건부 복제 학습을 사용하여 자율주행 차량을 제어하는 계층적이고 언어 기반의 주행 정책을 제안한다. 모델은 게이트형 어텐션과 순환 네트워크를 통해 고수준 언어 추론과 저수준 연속 제어를 결합함으로써 다양한 환경에서 강건하고 안전한 주행을 달성하며, 잘못된 지시나 지시 중단 상황에서도 성능을 유지한다. 이는 CARLA 시뮬레이션에서 강력한 일반화 능력과 실시간 상호작용 성능을 입증한다.

ABSTRACT

Widespread adoption of self-driving cars will depend not only on their safety but largely on their ability to interact with human users. Just like human drivers, self-driving cars will be expected to understand and safely follow natural-language directions that suddenly alter the pre-planned route according to user's preference or in presence of ambiguities, particularly in locations with poor or outdated map coverage. To this end, we propose a language-grounded driving agent implementing a hierarchical policy using recurrent layers and gated attention. The hierarchical approach enables us to reason both in terms of high-level language instructions describing long time horizons and low-level, complex, continuous state/action spaces required for real-time control of a self-driving car. We train our policy with conditional imitation learning from realistic language data collected from human drivers and navigators. Through quantitative and interactive experiments within the CARLA framework, we show that our model can successfully interpret language instructions and follow them safely, even when generalizing to previously unseen environments. Code and video are available at https://sites.google.com/view/language-grounded-driving.

연구 동기 및 목표

• 자율주행 차량이 실시간으로 자연어 지시를 해석하고 실행할 수 있도록 하여 인간 운전사의 상호작용을 모방한다.
• 예를 들어 T자 교차로에서 '직진하라'는 모호하거나 오해의 소지가 있는 지시가 주어져도 안전한 행동을 보장한다.
• 예측할 수 없는 환경에 일반화하고 주행 도중 동적인 실시간 사용자 간섭을 처리할 수 있도록 한다.
• 장기적인 시계열 자연어 지시를 추론할 수 있는 계층적 정책을 개발하며, 연속 상태/행동 공간을 통해 실시간 제어를 유지한다.

제안 방법

• 모델는 고수준 정책이 언어 지시를 하위 작업으로 매핑하고, 저수준 정책이 연속적인 조향/가속도 조작을 생성하는 계층적 아키텍처를 사용한다.
• 조건부 복제 학습은 인간 운전사와 도우미의 실제 세계 언어 데이터를 수집하여 정책을 훈련시킨다.
• 고수준 정책에서 게이트형 어텐션 메커니즘을 사용하여 언어 및 시각적 특징을 기반으로 하위 작업 예측을 조건화한다.
• 저수준 정책는 하위 작업 임bedding과 이미지 관측값에 조건화되어 실행 중 세밀한 제어를 가능하게 한다.
• 시스템은 실시간 지시 전환을 지원한다: 새로운 명령어가 들어오면 현재 수행 중인 작업을 완료한 후 전환한다.
• 평가에서는 지도 기반 세그먼테이션 맵과 실시간 사용자 상호작용 프로토콜을 사용한 CARLA 시뮬레이터를 활용하여 강인성 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 자율주행 에이전트는 지시가 모호하거나 오해의 소지가 있어도 실시간으로 자연어 지시를 해석하고 따를 수 있는가?
• RQ2 시각적 입력과 언어적 입력의 통합이 잘못된 명령어 하에서 주행의 강인성과 안전성 향상에 어떻게 기여하는가?
• RQ3 계층적 아키텍처는 예측할 수 없는 환경과 장기적인 시계열 언어 지시에 대해 얼마나 잘 일반화되는가?
• RQ4 모델은 활성 조작 실행 중 실시간으로 간섭하는 사용자 입력을 어떻게 처리하는가?

주요 결과

• 이중 입력(이미지 및 언어)을 사용할 경우, 오락적 지시가 포함된 테스트 시퀀스에서 전체 모델(H_ikh)이 94.6%의 성공률을 기록했다.
• 고수준 정책에 이미지 관측값을 포함시킴으로써 오류율이 이미지 미포함 기준 모델 대비 유의미하게 감소하여 성능 향상이 뚜렷했다.
• 사용자가 충돌하거나 타이밍이 맞지 않는 지시를 내릴 경우에도 높은 안전성과 작업 완료율을 유지하여 실시간 간섭에 대한 강인성을 입증했다.
• 절단 실험 결과, 하위 작업 조건화 기반의 게이트형 어텐션 기반 저수준 정책가 고정 레이어 전환 방식과 유사한 성능을 보였으며, 향후 복잡한 작업에 대한 유연성을 보였다.
• 새로운 환경으로의 일반화가 효과적으로 이루어졌으며, CARLA 내 다양한 지도 레이아웃과 주행 시나리오 간 강력한 전이 성능을 보였다.