[논문 리뷰] TransFlow: Unsupervised Motion Flow by Joint Geometric and Pixel-level Estimation

Stefano Alletto, Davide Abati외 3명|arXiv (Cornell University)|2017. 06. 01.

Advanced Vision and Imaging참고 문헌 12인용 수 6

한 줄 요약

TransFlow는 동반자 영상에서 비지도 학습을 통해 기하학적 변환(호모지어와 공간 변환기 레이어를 통해)을 동시에 추정하고, 깊이 신경망을 통해 예측을 보정함으로써 자율 주행 영상에 적합한 비지도 광학 흐름 방법을 제안한다. 이는 지도 학습 방법 대비 새로운 데이터에서 오차를 3배 감소시켜 재구성 기반 학습을 통해 뛰어난 일반화 능력을 입증한다.

ABSTRACT

We address unsupervised optical flow estimation for ego-centric motion. We argue that optical flow can be cast as a geometrical warping between two successive video frames and devise a deep architecture to estimate such transformation in two stages. First, a dense pixel-level flow is computed with a geometric prior imposing strong spatial constraints. Such prior is typical of driving scenes, where the point of view is coherent with the vehicle motion. We show how such global transformation can be approximated with an homography and how spatial transformer layers can be employed to compute the flow field implied by such transformation. The second stage then refines the prediction feeding a second deeper network. A final reconstruction loss compares the warping of frame X(t) with the subsequent frame X(t+1) and guides both estimates. The model, which we named TransFlow, performs favorably compared to other unsupervised algorithms, and shows better generalization compared to supervised methods with a 3x reduction in error on unseen data.

연구 동기 및 목표

• 지상 진술 없이 자율 주행 영상에서 비지도 광학 흐름 추정의 과제를 해결한다.
• 특히 전역 호모지어 기반 운동을 포함한 기하학적 사전 지식을 활용하여 흐름 예측의 공간 일관성을 강화한다.
• 기하학적 제약 조건과 엔드 투 엔드 딥 러닝을 융합하여 새로운 데이터에서의 일반화 능력을 향상시킨다.
• 먼저 기하학적 워핑을 통해 굵은 흐름을 추정하고, 이후 더 깊은 네트워크로 이를 보정하는 이중 단계 아키텍처를 개발한다.

제안 방법

• 연속 프레임 간의 광학 흐름을 호모지어 행렬로 표현된 전역 운동을 통해 기하학적 워핑으로 모델링한다.
• 공간 변환기 레이어를 사용하여 추정된 호모지어에 의해 유도되는 흐름 필드를 예측함으로써 공간 일관성을 강제한다.
• 예측된 흐름을 더 깊은 네트워크에 입력하여 픽셀 수준의 세부 정보 복구를 가능하게 한다.
• 예측된 프레임 X(t)를 워핑한 결과와 목표 프레임 X(t+1)를 비교하는 재구성 손실을 사용해 전체 네트워크를 학습한다.
• 기하학적 예측과 픽셀 수준 예측을 동시에 지도하는 재구성 손실을 통해 양 단계를 종합적으로 최적화한다.
• 기하학적 사전 지식에서 유도된 강력한 공간 제약 조건을 적용하여 학습을 안정화하고 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 호모지어 모델링과 같은 기하학적 사전 지식이 자율 주행 환경에서 비지도 광학 흐름 추정에 기여하는가?
• RQ2 기하학적 추정과 픽셀 수준 추정을 동시에 적용할 경우 순수 학습 기반 접근법에 비해 흐름 정확도와 일반화 능력이 어떻게 향상되는가?
• RQ3 지상 진술 없이 재구성 기반 학습을 수행할 경우 새로운 데이터에서 오차가 얼마나 감소하는가?
• RQ4 공간 변환기 레이어는 주행 시나리오에서 전역 운동에 의해 유도되는 흐름 필드를 효과적으로 모델링할 수 있는가?

주요 결과

• TransFlow는 지도 학습 방법 대비 새로운 데이터에서 오차를 3배 감소시켜 뛰어난 일반화 능력을 입증한다.
• 기하학적 사전 지식의 통합은 자율 주행 영상에서 공간 일관성과 흐름 정확도를 크게 향상시킨다.
• 기하학적 초기화 후 딥 러닝 보정을 수행하는 이중 단계 아키텍처는 순수 엔드 투 엔드 비지도 모델보다 우수한 성능을 보인다.
• 지상 진술 없이 재구성 기반 학습을 수행함으로써 다양한 테스트 시나리오에서 강인한 성능을 달성한다.
• 공간 변환기 레이어는 호모지어 추정치에서 효과적으로 흐름 필드를 생성하고, 미분 가능한 워핑을 가능하게 한다.
• 학습 중에 볼 수 없었던 도메인으로도 일반화가 잘 되어 있어, 기하학적 제약 조건이 강력한 인덕티브 바이어스를 제공함을 시사한다.