[논문 리뷰] Deep Object-Centric Policies for Autonomous Driving

Dequan Wang, Coline Devin외 3명|arXiv (Cornell University)|2018. 11. 13.

Advanced Neural Network Applications참고 문헌 25인용 수 6

한 줄 요약

이 논문은 학습된 희소 객체 검출기를 사용하여 차량과 보행자를 명시적으로 표현하는 객체 중심 딥 강화 학습 정책을 제안한다. 종단간 정책에 이산적이고 주의 기반의 객체 표현을 통합함으로써, 복잡한 도심 환경에서의 강인성을 향상시킨다. 시뮬레이션과 실제 세계의 낮은 데이터 환경에서, 충돌 회피 및 주행 거리 지표에서 객체 무관 모델을 능가한다.

ABSTRACT

While learning visuomotor skills in an end-to-end manner is appealing, deep neural networks are often uninterpretable and fail in surprising ways. For robotics tasks, such as autonomous driving, models that explicitly represent objects may be more robust to new scenes and provide intuitive visualizations. We describe a taxonomy of "object-centric" models which leverage both object instances and end-to-end learning. In the Grand Theft Auto V simulator, we show that object-centric models outperform object-agnostic methods in scenes with other vehicles and pedestrians, even with an imperfect detector. We also demonstrate that our architectures perform well on real-world environments by evaluating on the Berkeley DeepDrive Video dataset, where an object-centric model outperforms object-agnostic models in the low-data regimes.

연구 동기 및 목표

• 종단간 시각 운동 제어 정책의 취약성을 개선하기 위해, 실생활 자율 주행 환경에서 명시적인 객체 표현을 통합한다.
• 추론 중 희귀하거나 미리 보지 못한 객체를 다루는 데에 있어 통합적이고 픽셀 수준의 주의 및 객체 무관 모델의 한계를 극복한다.
• 학습된 주의 메커니즘을 활용한 객체 중심 표현을 통해, 낮은 데이터 환경에서의 샘플 효율성과 강인성을 향상시킨다.
• 희소하고 이산적인 객체 표현과 개별 객체 주의 기반의 접근이 복잡한 도심 주행 환경에서 밀도 높은 또는 전역 표현보다 우월하다는 것을 입증한다.
• 모델이 제어 행동에 가장 관련성이 있다고 판단하는 객체를 시각화함으로써, 정책 결정의 해석 가능성을 제공한다.

제안 방법

• 전역 이미지 특징과 검출된 객체에서 얻은 관심 영역(ROI) 풀링 특징을 위한 두 개의 브랜치 특징 추출 네트워크를 사용한다.
• 각 검출된 객체에 대해 작업에 특화된 중요도 점수를 계산하는 학습 가능한 객체 선택 레이어를 적용하며, 이는 미분 가능한 주의 기반 메커니즘을 사용한다.
• 전역 및 객체 수준의 특징을 연결하거나 풀링하여 정책 헤드를 위한 하이브리드 표현을 구성한다.
• 전문가의 시범 데이터로부터 애널로그 학습을 사용하여 전체 시스템을 종단간으로 훈련하며, 불필요한 객체에서 오는 노이즈를 줄이기 위해 희소 객체 선택에 중점을 둔다.
• 객체 검출기(예: MSCOCO에서 훈련된)를 약한 지도 학습 사전 지식으로 통합하여, 검출 결과가 불완전하더라도 활용한다.
• 일반화 능력과 데이터 효율성을 평가하기 위해, 온정책(실제로 Grand Theft Auto V 시뮬레이터에서 주행)과 오프정책(실제 세계 BDDV 데이터셋) 환경을 모두 평가한다.

실험 결과

연구 질문

• RQ1 객체 중심 표현은 복잡한 도심 환경에서 종단간 주행 정책의 강인성과 샘플 효율성을 향상시킬 수 있는가?
• RQ2 밀도 높은 표현과 희소 표현 간의 선택이 정책 성능과 해석 가능성에 어떤 영향을 미치는가?
• RQ3 객체 선택을 위한 학습된 주의 기반 메커니즘이 히وري스틱 방법(예: 크기 기반 선택)보다 자율 주행 정책 학습에서 우월한가?
• RQ4 객체 중심 모델은 검출 결과가 불완전하고 훈련 데이터가 제한된 실제 세계 데이터에 얼마나 잘 일반화되는가?
• RQ5 주행 거리, 충돌 빈도, 개입 빈도 측면에서, 객체 중심 모델은 픽셀 수준 주의 및 전역 표현 기반 기준 모델과 비교해 어떻게 성능을 냈는가?

주요 결과

• 학습된 주의 기반의 희소 객체 중심 모델은 Grand Theft Auto V 시뮬레이터에서 온정책 평가에서 객체 무관 모델 및 픽셀 수준 주의 모델을 능가했으며, 더 긴 주행 거리와 더 적은 충돌을 기록했다.
• 도심 환경에서 희소 모델은 기준 모델 대비 30% 감소한 개입 횟수를 기록했으며, 개입 전 평균 주행 거리는 25% 증가했다.
• 사전 훈련된 검출기(MSCOCO)에서의 객체 검출 결과를 사용하더라도 모델은 강건한 성능 유지를 보였으며, 노이즈가 있거나 불완전한 검출에도 영향을 적게 받았다.
• 실제 세계의 Berkeley DeepDrive Video 데이터셋에서, 특징 연결을 사용한 희소 객체 모델은 낮은 데이터 환경(5~50% 데이터)에서 가장 낮은 퍼플렉서티를 기록하여 뛰어난 데이터 효율성을 입증했다.
• 모든 지표에서 히وري스틱 크기 기반 선택기보다 학습된 선택기가 뛰어난 성능을 보였으며, 주의와 정책을 함께 최적화함으로써 유의미한 이점을 입증했다.
• 모델의 주의 메커니즘이 보행자와 인접한 차량을 올바르게 우선순위로 삼아, 기준 모델의 실패 사례에서와 같이 장애물 쪽으로 가속하는 대신 안전 조치(예: 브레이크)를 취하는 보수적인 행동을 이끌어냈다.