[논문 리뷰] Deep Rigid Instance Scene Flow

Wei-Chiu Ma, Shenlong Wang외 3명|arXiv (Cornell University)|2019. 04. 18.

Advanced Vision and Imaging참고 문헌 45인용 수 7

한 줄 요약

이 논문은 GPU 가속화된 가우시안-뉴턴 솔버를 통해 최적화되는 기하 기반 에너지 함수와 깊이 신경망을 활용한 광학 흐름, 심도, 인스턴스 세그멘테이션을 조합하여 자율 주행 환경에서 3D 시나리오 흐름을 추정하는 딥 스트럭처드 모델인 Deep Rigid Instance Scene Flow(DRISF)을 제안한다. 이 방법은 KITTI 데이터셋에서 최신 기준 성능을 달성하면서도 이전 방법보다 800배 빠른 속도를 기록한다.

ABSTRACT

In this paper we tackle the problem of scene flow estimation in the context of self-driving. We leverage deep learning techniques as well as strong priors as in our application domain the motion of the scene can be composed by the motion of the robot and the 3D motion of the actors in the scene. We formulate the problem as energy minimization in a deep structured model, which can be solved efficiently in the GPU by unrolling a Gaussian-Newton solver. Our experiments in the challenging KITTI scene flow dataset show that we outperform the state-of-the-art by a very large margin, while being 800 times faster.

연구 동기 및 목표

• 자율 주행 환경에서 실시간으로 정확한 3D 시나리오 흐름 추정 문제를 해결하기 위해.
• 딥 러닝 프레임워크 내에서 강력한 기하 기반 사전 지식—특히 동적 객체와 자동차 자체의 강체 운동—을 활용하기 위해.
• 순수하게 딥 러닝 기반의 방법이 구조적 일관성이 부족하고 객체 인스턴스 간에 일관된 운동을 강제하지 못하는 한계를 극복하기 위해.
• 에너지 최적화 과정을 미분 가능하고 엔드 투 엔드 학습이 가능한 신경망으로 전개함으로써 고정밀도와 실시간 성능를 동시에 달성하기 위해.

제안 방법

• 먼저 깊이 신경망을 사용하여 연속된 스테레오 이미지 쌍에서 광학 흐름, 심도, 인스턴스 세그멘테이션을 추정한다.
• 다양한 기하 기반 에너지 함수—광학적, 흐름, 강체 운동 항목을 포함한 에너지 함수를 사용하여 시나리오 흐름 추정을 에너지 최소화 문제로 설정한다.
• 에너지 함수는 가우시안-뉴턴 솔버를 통해 최소화되며, 이는 백프로파게이션과 GPU 가속을 위한 순환 신경망 레이어로 전개된다.
• 솔버는 동일한 인스턴스에 속한 픽셀들이 동일한 3D 강체 운동을 가져야 한다는 조건을 강제하여 객체 경계를 넘어서도 구조적 일관성을 확보한다.
• 시각적 신호 추출과 최적화를 포함한 전체 파이프라인은 실시간 추론을 위해 GPU에 구현되어 있다.
• 최적화 단계가 미분 가능하므로, 시각적 신호와 시나리오 흐름을 함께 학습할 수 있도록 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 학습된 시각적 특징와 기하 기반 사전 지식을 융합한 딥 스트럭처드 모델이 3D 시나리오 흐름 추정에서 뛰어난 정확도와 속도를 달성할 수 있는가?
• RQ2 자율 주행 환경에서 동적 객체와 배경에 대해 강체 운동 사전 지식이 시나리오 흐름 추정에 얼마나 효과적인가?
• RQ3 에너지 최적화 단계를 미분 가능하게 설계하여 광학 흐름, 심도, 세그멘테이션 신호를 통합할 경우 운동 일관성 향상과 오염 오차 감소에 얼마나 기여하는가?
• RQ4 가우시안-뉴턴 솔버를 전개하여 GPU에서 효율적으로 구현할 수 있을까? 이는 고정밀도를 유지하면서도 실시간 추론을 가능하게 하는가?

주요 결과

• DRISF는 KITTI 시나리오 흐름 데이터셋에서 이전 최고 성능 기준보다 D1 이상 오차 비율을 43% 감소시키고, D2는 32%, 흐름 이상 오차는 24% 감소시켰다.
• 이전 최고 성능 모델보다 22% 낮은 시나리오 흐름 오차를 기록했으며, 런타임 속도는 800배 빠르게 구현했다.
• 광학 흐름 예측을 진짜값으로 대체하면 시나리오 흐름 오차가 21% 감소함으로써, 흐름 모듈의 향상 여지가 크다는 것을 시사한다.
• 스테레오 심도를 진짜값으로 대체하면 오차가 8% 감소함으로써, 현재 파이프라인에서 스테레오 추정이 핵심 성능 저하 요인임을 보여준다.
• 제거 실험 결과, 흐름 및 강체 운동 항목을 포함하면 배경 이외의 물체 성능 향상이 뚜렷하지만, 무늬가 있는 배경에는 광학적 항목만이 최적임을 확인했다.
• 기존 딥 러닝 기반 방법에 비해 더 선명한 객체 경계를 생성하고 오염 오차를 크게 감소시킴으로써, 구조적 사전 지식의 유용성을 입증했다.