[논문 리뷰] MODNet: Moving Object Detection Network with Motion and Appearance for Autonomous Driving

Mennatullah Siam, Heba Mahgoub외 4명|arXiv (Cornell University)|2017. 09. 14.

Advanced Neural Network Applications참고 문헌 25인용 수 49

한 줄 요약

이 논문은 RGB 및 광학 흐름 특징을 융합하여 차량 검출과 운동 세분화를 동시에 학습하는 이중 스트림 컨볼루션 네트워크인 MODNet을 제안한다. KITTI MOD 데이터셋에서 MPNet 대비 mAP가 21.5% 향상되었으며, 다중 작업 학습을 통해 공유 인코더 표현을 활용함으로써 자율 주행 환경에서 이동 물체의 강력한 검출을 가능하게 하며, 8 fps의 실시간 추론 성능을 달성한다.

ABSTRACT

We propose a novel multi-task learning system that combines appearance and motion cues for a better semantic reasoning of the environment. A unified architecture for joint vehicle detection and motion segmentation is introduced. In this architecture, a two-stream encoder is shared among both tasks. In order to evaluate our method in autonomous driving setting, KITTI annotated sequences with detection and odometry ground truth are used to automatically generate static/dynamic annotations on the vehicles. This dataset is called KITTI Moving Object Detection dataset (KITTI MOD). The dataset will be made publicly available to act as a benchmark for the motion detection task. Our experiments show that the proposed method outperforms state of the art methods that utilize motion cue only with 21.5% in mAP on KITTI MOD. Our method performs on par with the state of the art unsupervised methods on DAVIS benchmark for generic object segmentation. One of our interesting conclusions is that joint training of motion segmentation and vehicle detection benefits motion segmentation. Motion segmentation has relatively fewer data, unlike the detection task. However, the shared fusion encoder benefits from joint training to learn a generalized representation. The proposed method runs in 120 ms per frame, which beats the state of the art motion detection/segmentation in computational efficiency.

연구 동기 및 목표

• 자신의 운동과 복잡한 물체 간 상호작용으로 인해 운동 세분화 성능이 저하되는 자율 주행 환경에서 이동 물체 검출의 과제를 해결하기 위해.
• 단일 모odal 접근 방식의 한계를 극복하기 위해 통합된 딥 러닝 프레임워크 내에서 외관과 운동 신호를 동시에 모델링하기 위해.
• 운동 세분화 연구를 지원하기 위해 차량의 정적/이동 상태 레이블이 포함된 새로운 벤치마크 데이터셋인 KITTI MOD를 구축하기 위해.
• 운동 세분화 데이터가 제한적일 때 공유 표현을 활용한 다중 작업 학습이 일반화 성능을 향상시키는지 확인하기 위해.

제안 방법

• RGB 이미지와 광학 흐름을 별도로 처리하는 이중 스트림 인코더-디코더 아키텍처를 제안하며, 공유 인코더에서 특징을 융합하여 통합 학습을 수행한다.
• 스킵 연결을 활용한 공유 인코더를 사용하여 공간 해상도를 유지하고, 검출 및 운동 세분화 작업 모두의 특징 표현을 향상시킨다.
• 엔드 투 엔드 훈련 중에 검출 손실(예: 교차 엔트로피 및 박스 회귀)과 운동 세분화 손실(예: 이진 교차 엔트로피)을 조합한 다중 작업 손실 함수를 적용한다.
• 세 가지 변형을 도입한다: (1) 단일 스트림 광학 흐름, (2) 별도 훈련을 통한 이중 스트림, (3) 공동 훈련을 통한 이중 스트림이며, 후자가 가장 높은 성능을 보였다.
• 운동 데이터가 제한적인 상황에서 수렴성과 성능 향상을 위해 인코더에 사전 훈련된 VGG16 가중치를 활용한다.
• KITTI 데이터셋에 이동/정적 물체 레이블을 추가하기 위한 새로운 데이터 생성 파이프라인을 도입하여 KITTI MOD 벤치마크를 구축한다.

실험 결과

연구 질문

• RQ1 외관과 운동 신호를 동시에 학습함으로써 자율 주행 환경에서 이동 물체 검출 및 운동 세분화의 정확도가 향상되는가?
• RQ2 운동 세분화 데이터가 검출 데이터에 비해 부족한 상황에서 공유 표현을 활용한 다중 작업 학습이 성능 향상에 기여하는가?
• RQ3 이중 스트림 아키텍처에서 RGB와 광학 흐름을 융합하는 것이 단일 스트림 또는 별도 훈련 방식보다 운동 세분화 및 검출 성능에서 뛰어나지는가?
• RQ4 제안된 방법이 DAVIS와 같은 비자동차 데이터셋으로 일반화되는 정도는 어느 정도이며, 최신 비지도 비디오 세분화 모델과 비교해 어떻게 성능을 내는가?
• RQ5 모델은 이전에 학습되지 않은 물체 카테고리(예: 공사용 트럭)를 순수하게 운동 신호에 기반해 탐지할 수 있는가? 이는 드문 또는 훈련되지 않은 차량에 대한 강건성을 보장하는가?

주요 결과

• KITTI MOD 데이터셋에서 검출 및 운동 세분화 작업을 공동으로 학습함으로써 MPNet 대비 mAP가 21.5% 향상되어 최종 mAP는 62.57%를 달성했다.
• RGB 및 광학 흐름 입력을 공유 인코더에서 공동으로 훈련한 이중 스트림 아키텍처가 별도 훈련보다 우수하며, mAP가 52.5%에서 62.57%로 상승했다.
• Titan X GPU에서 8 fps의 추론 속도를 달성하여, 이전 방법들이 프레임당 최대 50분이 소요되는 것에 비해 뚜렷한 성능 향상을 보였다.
• DAVIS 벤치마크에서 CRF 없이 평균 IoU 63.88%, CRF 적용 시 66.0%를 기록하여, 주로 후처리를 사용하지 않은 상태에서 대부분의 비지도 방법보다 뛰어난 성능을 보였다.
• MPNet에서 사용된 합성 데이터가 아닌 실제 카메라 운동과 복잡한 시나리오를 포함한 KITTI MOD를 활용함으로써 더 우수한 일반화 성능을 달성했다.
• 모델는 강력한 zero-shot 일반화 성능을 보이며, 순수하게 운동 신호에 기반해 훈련되지 않은 물체 카테고리(예: 공사용 트럭)도 탐지할 수 있었다.