[논문 리뷰] Occlusion Aware Unsupervised Learning of Optical Flow

Yang Wang, Yi Yang외 4명|arXiv (Cornell University)|2017. 11. 16.

Advanced Vision and Imaging참고 문헌 27인용 수 18

한 줄 요약

이 논문은 후방 흐름을 활용해 막힘을 명시적으로 모델링함으로써 재구성 손실을 안내하는, 막힘 인식을 고려한 비지도 학습 프레임워크를 제안한다. 이와 함께 수정된 워핑 전략과 향상된 네트워크 설계를 도입하여 대규모 운동 추정 성능을 향상시킨다. 이 방법은 비지도 학습에서 최고 성능을 기록하며, KITTI 데이터셋에서 EPE 4.2로 지도 학습 기반 보다 뛰어난 성능을 보였다.

ABSTRACT

It has been recently shown that a convolutional neural network can learn optical flow estimation with unsupervised learning. However, the performance of the unsupervised methods still has a relatively large gap compared to its supervised counterpart. Occlusion and large motion are some of the major factors that limit the current unsupervised learning of optical flow methods. In this work we introduce a new method which models occlusion explicitly and a new warping way that facilitates the learning of large motion. Our method shows promising results on Flying Chairs, MPI-Sintel and KITTI benchmark datasets. Especially on KITTI dataset where abundant unlabeled samples exist, our unsupervised method outperforms its counterpart trained with supervised learning.

연구 동기 및 목표

• 비지도 및 지도 학습 광학 흐름 방법 간의 성능 격차를 해소하기 위해, 특히 막힘과 대규모 운동으로 인한 영향을 다루기 위해.
• 후방 흐름 예측을 활용해 손실 함수에 막힘을 명시적으로 모델링함으로써 비지도 광학 흐름 학습을 향상시키기 위해.
• 수정된 워핑 메커니즘과 네트워크 아키텍처 수정을 통해 대규모 운동 추정 성능을 향상시키기 위해.
• 비용이 많이 드는 진짜 레이블을 최소화하고, 오직 레이블이 없는 영상 데이터만을 사용하여 높은 성능의 광학 흐름 예측을 가능하게 하기 위해.

제안 방법

• 이 방법은 전방 및 후방 광학 흐름을 동시에 추정하는 엔드 투 엔드 신경망을 도입하며, 후방 흐름에서 유도된 막힘 맵을 통해 대응 관계가 없는 영역을 식별한다.
• 비틀림 없는 영역에만 적용되는 수정된 광학적 손실을 사용하여, 재구성 과정에서 막힘 영역의 불일치에 대해 보상하지 않도록 한다.
• 다중 척도 특징과 복구 단계에서 향상된 특징 집합을 통합함으로써 대규모 운동을 더 잘 다룰 수 있도록 새로운 워핑 메커니즘을 설계한다.
• 특징의 구분 능력을 향상시키기 위해 히스토GRAM 균형 조정과 채널 표현을 네트워크 아키텍처에 통합하여, 특히 저대비 영역에서 성능을 향상시킨다.
• 레이블이 없는 영상 데이터를 활용하여, 왜곡된 프레임에서의 영상 재구성에 기반한 자기지도 학습 목표를 사용해 모델을 훈련시킨다.
• 어려운 벤치마크에서 성능을 추가로 향상시키기 위해 확대된 검색 범위와 대trast 강화와 같은 추론 구성 요소를 포함한다.

실험 결과

연구 질문

• RQ1 운동 불연속성과 대응 관계가 없는 경우에 명시적인 막힘 모델링이 비지도 광학 흐름 추정 성능을 향상시킬 수 있는가?
• RQ2 후방 흐름을 활용한 막힘 탐지 방식이 비지도 학습 중 영상 재구성 및 흐름 추정 정확도에 어떤 영향을 미치는가?
• RQ3 수정된 워핑과 네트워크 아키텍처 개선이 비지도 광학 흐름 네트워크에서 대규모 운동 추정 성능 향상에 얼마나 기여하는가?
• RQ4 막힘 모델링, 향상된 워핑, 전처리 기법의 조합이 실제 세계 데이터셋에서 기존 비지도 방법보다 성능 향상을 이끌 수 있는가?
• RQ5 충분한 레이블이 없는 데이터가 이용 가능한 경우, 예를 들어 KITTI 데이터셋에서 이러한 구성 요소를 갖춘 비지도 학습이 지도 학습 기반 보다 뛰어날 수 있는가?

주요 결과

• KITTI 2012 벤치마크에서 제안된 비지도 방법은 종합 오차(EPE) 4.2를 기록하며, 지도 학습 기반의 FlowNetS+ft 보다 뛰어난 성능을 보였다.
• MPI-Sintel Final 벤치마크에서 이 방법은 EPE 6.34를 기록하며, 막힘 처리 기능이 있는 기존 기반 모델인 FlowNetS보다 뚜렷한 향상을 보였다.
• KITTI 2012에서 막힘 추정 F-측정치는 0.95, KITTI 2015에서는 0.88를 기록하여, 막힘에 대한 진짜 레이블이 없음에도 강력한 성능을 보였다.
• 제거 분석 결과, 막힘 모델링, 확대된 검색 범위, 대비 강화, 수정된 네트워크 아키텍처의 조합이 Flying Chairs에서 EPE에 대해 상대적으로 30% 향상된 결과를 이끌었다.
• Flying Chairs, MPI-Sintel, KITTI에서 비지도 학습에서 최고 성능을 기록하였으며, KITTI 성능은 레이블이 풍부한 데이터를 바탕으로 지도 학습 기반 성능을 초월하였다.
• 이 방법은 이전의 비지도 방법들인 DSTFlow에서 관찰되는 가짜 운동 아티팩트 없이 막힘 영역에서 아티팩트 없는 흐름 예측을 생성하였다.