[논문 리뷰] Guided Optical Flow Learning

Yi Zhu, Zhenzhong Lan외 2명|arXiv (Cornell University)|2017. 02. 08.

Advanced Vision and Imaging참고 문헌 23인용 수 33

한 줄 요약

이 논문은 실시간 추론이 가능하면서도 실제 지도 학습 데이터가 없는 상황에서도 최상위 또는 경쟁력 있는 성능을 내는 비지도 학습 광학 흐름 학습 프레임워크를 제안한다. 이는 기존의 광학 흐름 추정 기법(예: FlowFields)으로부터 유도된 가짜 지도 데이터를 활용해 지도 학습 기반의 CNN을 사전 훈련한 후, 이미지 재구성 손실을 이용한 비지도 미세조정을 수행한다. 제안된 방법은 Chairs, Sintel, KITTI와 같은 표준 벤치마크에서 우수한 성능을 기록하며, 기존의 비지도 방법을 능가하고 실제 지도 학습 모델에 가까운 정확도를 달성한다.

ABSTRACT

We study the unsupervised learning of CNNs for optical flow estimation using proxy ground truth data. Supervised CNNs, due to their immense learning capacity, have shown superior performance on a range of computer vision problems including optical flow prediction. They however require the ground truth flow which is usually not accessible except on limited synthetic data. Without the guidance of ground truth optical flow, unsupervised CNNs often perform worse as they are naturally ill-conditioned. We therefore propose a novel framework in which proxy ground truth data generated from classical approaches is used to guide the CNN learning. The models are further refined in an unsupervised fashion using an image reconstruction loss. Our guided learning approach is competitive with or superior to state-of-the-art approaches on three standard benchmark datasets yet is completely unsupervised and can run in real time.

연구 동기 및 목표

• 광학 흐름 학습을 위한 실제 세계 지도 데이터의 접근성 부족으로 인해 지도 학습 기반의 CNN 모델의 확장성과 일반화 능력이 제한되는 문제를 해결하기 위해.
• 비지도 학습 기반의 CNN 성능 향상을 위해, 일반적으로 부정확도 문제와 지도 학습의 부재로 인해 지도 학습 방법에 비해 성능이 열등한 비지도 방법의 성능을 향상시키기 위해.
• 기존의 광학 흐름 추정 기법에서 유도된 가짜 지도 데이터가 깊이 학습 기반의 운동 추정에 효과적으로 활용될 수 있는지 탐색하기 위해.
• 가짜 지도 데이터 기반 사전 훈련 이후 비지도 이미지 재구성 손실이 흐름 예측 정확도를 추가로 향상시킬 수 있는지 평가하기 위해.
• 실제 지도 데이터에 접근할 수 없더라도, 다양한 데이터셋에 잘 일반화되는 완전히 비지도 실시간 광학 흐름 추정 프레임워크를 개발하기 위해.

제안 방법

• 기존의 최상위 수준의 고전적 광학 흐름 추정 기법인 FlowFields를 사용하여 이미지 쌍에서 가짜 지도 데이터 흐름 필드를 생성하고, 이를 기반으로 CNN의 사전 훈련을 수행한다.
• 예측된 흐름과 가짜 지도 데이터 간의 종단점 오차(EPE) 손실을 사용하여 FlowNetS 아키텍처의 지도 학습 기반 CNN을 훈련한다.
• 사전 훈련된 모델을 이미지 재구성 손실 기반의 비지도 방식으로 미세조정한다. 이 손실은 예측된 흐름을 사용해 원본 이미지를 역워핑한 결과와 타겟 이미지 간의 차이를 기반으로 계산된다.
• 재구성 손실은 워핑된 원본 이미지와 타겟 이미지 간의 L1 또는 L2 차이로 계산되며, 정확한 흐름 추정을 유도한다.
• 전체 파이프라인은 비지도 방식이다: 훈련 중 실제 지도 데이터는 사용되지 않으며, 이미지 쌍과 고전적 방법으로부터 유도된 가짜 흐름만 사용된다.
• 프레임워크는 Chairs, Sintel, KITTI 벤치마크에서 런타임과 EPE를 주요 평가 지표로 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 고전적 광학 흐름 추정 기법에서 유도된 가짜 지도 데이터가 딥 컨볼루션 네트워크의 광학 흐름 추정 훈련에 효과적으로 기여할 수 있는가?
• RQ2 실제 합성 지도 데이터 대비 가짜 지도 데이터 기반 사전 훈련이 일반화 성능을 향상시키는가?
• RQ3 가짜 지도 데이터 기반 사전 훈련 이후 비지도 이미지 재구성 손실이 흐름 추정 정확도를 추가로 향상시킬 수 있는가?
• RQ4 제안된 유도 비지도 방법은 최신 비지도 및 지도 학습 기반 광학 흐름 네트워크와 비교해 정확도와 속도 측면에서 어떻게 성능을 내는가?
• RQ5 실제 지도 데이터에 접근할 수 없더라도, 이 프레임워크가 실시간 성능을 유지하면서도 고정확도를 달성할 수 있는가?

주요 결과

• Chairs 벤치마크에서 제안된 방법은 평균 EPE 3.01을 기록했으며, 이는 지도 학습 기반의 FlowNetS(2.71)보다 뿐만 아니라 실제 지도 데이터 없이도 매우 우수한 성능을 보임을 시사한다.
• Sintel 벤치마크에서의 EPE는 7.96으로, 모든 비지도 방법을 능가하며, 지도 학습 모델과 비교해도 상위 수준의 성능을 기록한다.
• KITTI 벤치마크에서는 EPE 9.5를 기록하여 최신 기술 수준의 접근법과 경쟁 가능하지만, 레이어 기반 PCA-Flow 방법(6.2)에 비해 다소 열등하다.
• 비지도 미세조정을 통해 모든 데이터셋에서 평균 EPE가 0.33 감소: Chairs에서는 3.34에서 3.01로, Sintel에서는 8.05에서 7.96으로, KITTI에서는 9.7에서 9.5로 향상됨.
• GPU 기반으로 1 프레임당 0.06초의 속도로 실시간 성능을 달성하여, 다른 최신 기술 수준의 CNN 기반 방법과 유사한 성능을 기록한다.
• EPE와 재구성 손실을 동시에 초기 단계부터 공동 훈련하는 것보다 단계적 사전 훈련과 미세조정 방식이 성능이 떨어지지 않음을 확인하여, 가짜 지도 데이터 기반 사전 훈련이 비지도 보완 훈련을 위한 더 나은 초기화를 제공함을 시사한다.