[논문 리뷰] A Baseline for the Commands For Autonomous Vehicles Challenge

Simon Vandenhende, Thierry Deruyttere외 1명|arXiv (Cornell University)|2020. 04. 20.

Autonomous Vehicle Technology and Safety참고 문헌 6인용 수 8

한 줄 요약

이 논문은 자율주행차에서 자유형 자연어 객체 참조를 다루는 Commands For Autonomous Vehicles (C4AV) 챌린지에 대한 PyTorch 기반 베이스라인 모델을 제시한다. 이미지-명령어 기반 지정을 통해 자율주행차 내에서 자연어 명령어를 특정 객체에 연결한다. 미세조정된 CenterNet에서 유도된 영역 제안을 활용하며, 영역는 ResNet-18으로 인코딩하고 명령어는 양방향 GRU로 인코딩한다. 지도 학습을 위해 이진 교차 엔트로피 손실을 사용하여 정답 박스와의 상관관계를 최대화하며, 검증 세트에서 43.5%의 AP50 성능을 달성한다.

ABSTRACT

The Commands For Autonomous Vehicles (C4AV) challenge requires participants to solve an object referral task in a real-world setting. More specifically, we consider a scenario where a passenger can pass free-form natural language commands to a self-driving car. This problem is particularly challenging, as the language is much less constrained compared to existing benchmarks, and object references are often implicit. The challenge is based on the recent exttt{Talk2Car} dataset. This document provides a technical overview of a model that we released to help participants get started in the competition. The code can be found at https://github.com/talk2car/Talk2Car.

연구 동기 및 목표

• 자율주행차 환경에서 실제 주행 장면의 특정 객체에 자유형 자연어 명령어를 지정하는 데에 효과적인 강력하고 재현 가능한 베이스라인을 제공하기 위해.
• 객체 참조가 종종 맥락에 의존적이고 명시적으로 명명되지 않는 자율주행차 환경에서의 암시적이고 제약 없는 언어 참조 문제를 해결하기 위해.
• 완전하고 잘 문서화된 모델 구현, 훈련 및 추론 파이프라인을 공개하여 참가자가 신속하게 작업을 시작할 수 있도록 하기 위해.
• 양성 및 음성 영역 제안 간의 손실 균형 조절을 통해 객체 지정의 강건성을 향상시키고, 음성 샘플에 대한 편향을 완화하기 위해.

제안 방법

• 입력 이미지에서 미세조정된 CenterNet 모델을 사용해 영역 제안을 추출하여 이미지당 64개의 제안을 생성하고, 비최대 억제(NMS)를 통해 중복 제거한다.
• 신뢰도 점수 기반으로 상위 16개의 영역 제안을 선택하여 지정을 위한 후보 객체 영역으로 활용한다.
• 이미지 특징은 사전 학습된 ResNet-18을, 자연어 명령어는 양방향 GRU 네트워크를 통해 인코딩한다.
• L2 정규화 후 선형 변환을 통해 [0,1] 범위로 재맵핑한 후, 이미지 영역 임베딩과 명령어 임베딩 간의 특징 상관관계를 계산하여 지정 점수로 사용한다.
• 양성(이매지네이션 IoU ≥ 0.5) 및 음성(이매지네이션 IoU < 0.5) 박자에 대해 별도 평균을 취하는 이진 교차 엔트로피 손실을 사용해 클래스 불균형 문제를 방지한다.
• SGD에 Nesterov 모멘텀(0.9), 초기 학습률 0.01을 사용하며, 4 에포크마다 10배씩 감소시키고, 배치 크기 18, 가중치 감쇠 1e-4로 설정하며, 단일 NVIDIA 1080 Ti GPU에서 10 에포크 동안 학습한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 실제 자율주행차 환경에서 자유형 자연어 명령어를 특정 객체에 효과적으로 지정할 수 있는가?
• RQ2 운전자 환경에서 이미지와 제약 없는 언어 기술 간의 다중모odal 지정을 위한 강건하고 효율적인 베이스라인 아키텍처는 무엇인가?
• RQ3 양성 및 음성 영역 제안 간의 클래스 불균형 문제를 어떻게 완화시켜 모델 일반화 성능을 향상시킬 수 있는가?
• RQ4 C4AV 벤치마크에서 표준 이미지 및 언어 인코더의 단순하지만 효과적인 융합을 통해 달성할 수 있는 성능 수준는 무엇인가?

주요 결과

• 베이스라인 모델은 C4AV 검증 세트에서 0.5 IoU 기준 평균 정밀도(AP50) 43.5%를 달성하여 대회 참가자들에게 강력한 기초 성능을 제공한다.
• 양성 및 음성 손실 항목을 별도로 평균화하는 방식이 음성 예측에 대한 편향을 효과적으로 줄여 모델 수렴과 성능 향상에 기여한다.
• 단일 NVIDIA 1080 Ti GPU에서 단 두 시간 내에 효율적으로 학습이 가능하여 빠른 프로토타이핑과 실험에 유용하다.
• Talk2Car 데이터셋에 대해 CenterNet을 미세조정하면 이미지당 64개의 고품질 영역 제안을 얻을 수 있으며, 이는 효과적인 지정에 필수적이다.
• 시각적 특징은 ResNet-18, 언어 인코딩은 양방향 GRU를 조합함으로써 효과적인 다중모달 상관관계 학습이 가능하다.
• 영역 제안 및 모델 가중치를 포함한 코드베이스는 https://github.com/talk2car/Talk2Car 에 공개되어 있어 완전한 재현성과 커뮤니티 기반 확장이 가능하다.