[논문 리뷰] DF-Net: Unsupervised Joint Learning of Depth and Flow using Cross-Task Consistency

Yuliang Zou, Zelun Luo외 1명|arXiv (Cornell University)|2018. 09. 05.

Advanced Vision and Imaging참고 문헌 55인용 수 4

한 줄 요약

이 논문은 레이블이 없는 단안 영상에서 깊이와 옵티컬 플로우 네트워크를 동시에 학습하기 위해 교차 작업 기하학적 일관성을 강제하는 비지도 학습 프레임워크인 DF-Net을 제안한다. 예측된 깊이와 카메라 운동을 활용해 강체 3D 시나리오 플로우를 합성하고, 이를 추정된 옵티컬 플로우와 비교함으로써, 지도 학습에 필요한 진짜 레이블 없이도 두 작업 모두의 성능을 향상시키는 교차 작업 일관성 손실을 도입한다.

ABSTRACT

We present an unsupervised learning framework for simultaneously training single-view depth prediction and optical flow estimation models using unlabeled video sequences. Existing unsupervised methods often exploit brightness constancy and spatial smoothness priors to train depth or flow models. In this paper, we propose to leverage geometric consistency as additional supervisory signals. Our core idea is that for rigid regions we can use the predicted scene depth and camera motion to synthesize 2D optical flow by backprojecting the induced 3D scene flow. The discrepancy between the rigid flow (from depth prediction and camera motion) and the estimated flow (from optical flow model) allows us to impose a cross-task consistency loss. While all the networks are jointly optimized during training, they can be applied independently at test time. Extensive experiments demonstrate that our depth and flow models compare favorably with state-of-the-art unsupervised methods.

연구 동기 및 목표

• 픽셀 단위의 진짜 레이블이 없는 환경에서 깊이 및 옵티컬 플로우 모델을 훈련하는 과제를 해결한다. 이러한 레이블은 현실 세계에서 비용이 많이 들고 희소하다.
• 깊이, 카메라 운동, 옵티컬 플로우 간의 기하학적 관계를 활용하여 비지도 학습 성능을 향상시킨다.
• 기존의 비지도 방법들이 밝기 일관성과 공간적 평탄성에만 의존하는 한계를 극복한다. 이러한 방법들은 일반적으로 운동 경계에서 실패한다.
• 예측된 플로우와 합성된 플로우 간의 일치를 강제하는 새로운 일관성 손실을 통해 깊이 및 플로우 네트워크의 공동 훈련을 가능하게 한다.
• 공동 훈련된 모델이 지도 학습 방법과 경쟁 가능한 성능을 달성하고 기존 비지도 기반 베이스라인을 초월함을 입증한다.

제안 방법

• 예측된 옵티컬 플로우와 예측된 깊이 및 카메라 운동에서 합성된 플로우 사이의 기하학적 일관성을 강제하는 교차 작업 일관성 손실을 제안한다.
• 예측된 깊이와 추정된 카메라 운동을 사용하여 3D 시나리오 플로우를 역프로젝션하고, 이를 다시 2D로 투영하여 합성된 옵티컬 플로우를 생성한다.
• 표준 비지도 손실(예: 광학적 손실 및 평탄성 손실)과 교차 작업 일관성 손실을 조합한 다중 작업 손실을 사용하여 깊이 및 플로우 네트워크를 공동으로 훈련한다.
• 전진-후진 일관성 손실을 정규화 기법으로 적용하여 플로우 추정의 안정성을 향상시키지만, 핵심 혁신은 교차 작업 일관성에 있다.
• 영상 시퀀스에서 카메라 운동을 추정하기 위해 5프레임 포즈 추정 네트워크를 사용하며, 이를 통해 3D 시나리오 플로우를 합성한다.
• 진짜 깊이 또는 플로우 레이블이 필요 없이 오직 레이블이 없는 영상 시퀀스만을 사용하여 전체 시스템을 엔드 투 엔드로 비지도 방식으로 훈련한다.

실험 결과

연구 질문

• RQ1 깊이, 카메라 운동, 옵티컬 플로우 간의 기하학적 일관성이 비지도 공동 학습에 강력한 지도 신호로 작용할 수 있는가?
• RQ2 교차 작업 일관성을 활용해 깊이 및 플로우 네트워크를 공동으로 훈련하면 별도 훈련 또는 기존 비지도 방법보다 성능 향상이 이루어지는가?
• RQ3 제안된 방법이 진짜 레이블 데이터로의 피팅 없이도 KITTI 및 Make3D와 같은 실세계 데이터셋에 일반화 가능한가?
• RQ4 기존의 비지도 손실(예: 광학적 손실 및 평탄성 손실)과 비교했을 때 교차 작업 일관성 손실은 모델의 정확성과 강건성 향상에 어떤 영향을 미치는가?
• RQ5 학습된 모델이 레이블이 제한된 후행 작업에 대해 효과적인 사전 훈련으로 활용될 수 있는 정도는 어느 정도인가?

주요 결과

• 제안된 DF-Net은 KITTI 2012 및 2015 플로우 벤치마크에서 비지도 학습 기준 최고 성능을 달성했으며, KITTI 2012에서 EPE 3.54, KITTI 2015에서 EPE 8.98를 기록하여 기존 비지도 방법을 모두 앞서나갔다.
• KITTI 2012 데이터셋에서 모델는 어떤 피팅 없이도 EPE 3.54를 달성했으며, 동일한 평가 프로토콜 하에서 일부 지도 학습 방법인 FlowNet2-ft-kitti(EPE 1.28)조차도 뛰어넘었다.
• Make3D 데이터셋에서 깊이 예측 모델은 도메인 특화 피팅 없이도 경쟁 가능한 성능을 보이며 다양한 시나리오로의 일반화 능력을 입증했다.
• 포즈 추정 네트워크는 KITTI 시퀀스 09에서 평균 이동 오차 0.017 ± 0.007, 시퀀스 10에서 0.015 ± 0.009를 기록하여 최신 시각 SLAM 방법과 비교해 경쟁 가능한 성능을 보였다.
• 절단 실험 결과, 교차 작업 일관성 손실을 제거할 경우 성능이 크게 떨어지며(KITTI 2012에서 EPE가 3.54에서 4.70으로 증가), 이는 해당 손실이 핵심적인 역할을 한다는 것을 확인한다.
• 모델는 잘 일반화된다: KITTI 플로우 레이블로의 피팅 없이도, 정량적 비교에서 지도 및 비지도 기반 베이스라인보다 더 선명한 물체 윤곽을 생성하는 것으로 나타났다.