[논문 리뷰] Deep Semantic Matching for Optical Flow.

Min Bai, Wenjie Luo외 2명|arXiv (Cornell University)|2016. 04. 06.

Advanced Vision and Imaging참고 문헌 27인용 수 3

한 줄 요약

이 논문은 자율주행 환경에서 단안 영상의 광학 흐름 추정을 위해 개체 수준의 세분화와 에피포라 제약 조건을 활용하여 교통 참가자의 강성 운동을 모델링하는 딥러닝 접근법을 제안한다. 새로운 컨볼루션 신경망을 도입하여 불확실성 추정을 수행하는 의미적 매칭을 수행하며, KITTI 2015 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We tackle the problem of estimating optical flow from a monocular camera in the context of autonomous driving. We build on the observation that the scene is typically composed of a static background, as well as a relatively small number of traffic participants which move rigidly in 3D. We propose to estimate the traffic participants using instance-level segmentation. For each traffic participant, we use the epipolar constraints that govern each independent motion for faster and more accurate estimation. Our second contribution is a new convolutional net that learns to perform flow matching, and is able to estimate the uncertainty of its matches. This is a core element of our flow estimation pipeline. We demonstrate the effectiveness of our approach in the challenging KITTI 2015 flow benchmark, and show that our approach outperforms published approaches by a large margin.

연구 동기 및 목표

• 교통 참가자를 강성 운동하는 실체로 모델링하여 단안 자율주행 시나리오에서 광학 흐름 추정을 향상시키기.
• 각 이동 물체 인스턴스에 특화된 에피포라 기하 제약 조건을 활용하여 추정 오차를 감소시키기.
• 프레임 간 특징을 매칭하는 동시에 매칭의 불확실성을 예측하는 딥 네트워크 개발하기.
• 개체 수준의 세분화와 운동 일관성으로 흐름 정확도와 강인성을 향상시키기.

제안 방법

• 이동 교통 참가자를 정적 배경에서 분리하기 위해 개체 수준의 세분화를 사용한다.
• 각 세분화된 물체에 대해, 운동 추정의 기하 일관성을 강제하기 위해 에피포라 제약 조건을 적용한다.
• 의미적 특징 매칭과 함께 불확실성 예측을 수행하는 새로운 컨볼루션 신경망을 훈련한다.
• 개체 운동 모델과 학습된 일치 신뢰도를 조합하는 흐름 추정 파이프라인에 네트워크를 통합한다.
• 정적 배경과 강성 운동 물체로 구성된 장면 구조를 활용하여 흐름 정확도를 향상시킨다.
• 불확실성 인식 매칭을 통해 저신뢰도 대응관계를 필터링함으로써 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 개체 수준의 세분화는 자율주행 시나리오에서 광학 흐름 추정을 향상시킬 수 있는가?
• RQ2 딥러닝과 효과적으로 통합할 수 있는 에피포라 제약 조건은 어떻게 설계할 수 있는가?
• RQ3 딥 네트워크는 대응관계의 불확실성을 추정하면서 의미적 매칭을 학습할 수 있는가?
• RQ4 불확실성 예측은 복잡한 주행 환경에서 흐름 정확도와 강인성을 향상시키는가?
• RQ5 기하 제약 조건과 학습된 특징을 조합한 하이브리드 접근법은 엔드 투 엔드 흐름 네트워크를 능가하는가?

주요 결과

• 제안된 방법은 KITTI 2015 광학 흐름 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 개체 수준의 세분화 사용이 이동 중인 차량과 보행자에 대한 흐름 정확도를 크게 향상시킨다.
• 에피포라 제약 조건을 통합함으로써 더 기하학적으로 일관된 흐름 필드를 생성한다.
• 불확실성 추정 모듈이 저신뢰도 매칭을 효과적으로 식별하고 억제한다.
• 실제 주행 시퀀스에서 뛰어난 일반화 능력을 보이며, 출판된 기존 방법들에 비해 크게 뛰어난 성능을 보인다.