[논문 리뷰] OccInpFlow: Occlusion-Inpainting Optical Flow Estimation by Unsupervised Learning

Kunming Luo, Chuan Wang외 3명|arXiv (Cornell University)|2020. 06. 30.

Advanced Vision and Imaging참고 문헌 47인용 수 8

한 줄 요약

이 논문은 외곽선 보정 및 경계 확장 워핑을 사용하여 막힘 영역을 보간함으로써 성능을 향상시키는 비지도 광학 흐름 추정 프레임워크 OccInpFlow를 제안한다. 막힘 영역에서 이미지 내용을 활용해 흐름 보간을 이끌고 경계 유도 막힘을 보정함으로써, MPI-Sintel, KITTI, Flying Chairs에서 최신 기술 수준(SOTA)의 성능을 달성하며, 이는 이전의 모든 비지도 방법을 능가하고 일부 지도 학습 방법을 초월한다.

ABSTRACT

Occlusion is an inevitable and critical problem in unsupervised optical flow learning. Existing methods either treat occlusions equally as non-occluded regions or simply remove them to avoid incorrectness. However, the occlusion regions can provide effective information for optical flow learning. In this paper, we present OccInpFlow, an occlusion-inpainting framework to make full use of occlusion regions. Specifically, a new appearance-flow network is proposed to inpaint occluded flows based on the image content. Moreover, a boundary warp is proposed to deal with occlusions caused by displacement beyond image border. We conduct experiments on multiple leading flow benchmark data sets such as Flying Chairs, KITTI and MPI-Sintel, which demonstrate that the performance is significantly improved by our proposed occlusion handling framework.

연구 동기 및 목표

• 기존 방법이 막힘 영역을 무시하거나 버리는 비지도 광학 흐름 학습에서 막힘 문제를 해결하기 위해.
• 비막힘 영역의 맥락적 이미지 콘텐츠를 활용해 막힘 영역의 누락된 흐름 정보를 보간함으로써 흐름 추정 정확도를 향상시키기 위해.
• 이미지 경계를 초월한 운동으로 인해 발생하는 경계 유도 막힘을 새로운 경계 확장 워핑 메커니즘을 사용해 다루기 위해.
• IRP-PWC와 같은 지도 학습 네트워크의 장점을 유지하면서도 비지도 학습 설정에 적합하게 변형하기 위해.
• 막힘 영역이 일반적으로 폐기되지만, 자기지도 학습 흐름 학습에서 정보적인 지도 신호로 효과적으로 활용될 수 있음을 입증하기 위해.

제안 방법

• 비막힘 영역의 맥락적 특징을 활용해 이미지 콘텐츠 기반으로 막힘 영역의 광학 흐름 필드를 보간하기 위한 새로운 외관-흐름 네트워크인 AppFlowNet-Lite를 제안한다.
• 이미지 경계를 초월해 이동한 픽셀에 대해 광학 손실 계산을 보정하기 위해, 새로운 경계 확장 워핑 모듈을 도입한다. 이는 이러한 경우의 강건성을 향상시킨다.
• 지식 기반 손실과 막힘 인식 학습을 통해 지도 학습 네트워크 백본인 IRR-PWC를 비지도 설정으로 변환한다.
• 대규모 스케일 아키텍처를 사용하며, 공유된 초기 흐름 추정 및 개선 블록을 통해 큰 이동과 세밀한 운동 세부 정보를 모두 처리한다.
• 두 단계 학습 프로세스를 적용한다: 먼저 마스크 헤드를 통해 막힘 영역을 탐지하고, 그 다음에 외관-흐름 네트워크를 사용해 막힘 영역의 흐름을 개선한다.
• 객체 막힘 영역은 제외하지만 보간된 영역에서 유도를 유지하는 광학 손실을 적용함으로써, 학습 안정성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 기존에 폐기되거나 무시되던 막힘 영역이 비지도 광학 흐름 추정 향상에 효과적으로 활용될 수 있는가?
• RQ2 이미지 콘텐츠는 막힘 영역에서 누락된 광학 흐름을 보간하는 데 어떻게 활용될 수 있는가?
• RQ3 새로운 경계 워핑 전략이 비지도 학습에서 이미지 경계를 초월해 이동한 픽셀의 흐름 추정을 향상시킬 수 있는가?
• RQ4 막힘 보간과 광학 손실 최적화를 결합하면, 각각의 구성 요소만 사용할 때보다 더 나은 성능을 낼 수 있는가?
• RQ5 비지도 학습을 위한 프레임워크가 지도 학습 방법의 성능과 비교해 유사하거나 이를 초월할 수 있는가?

주요 결과

• MPI-Sintel 벤치마크에서 OccInpFlow는 클리어 패스에서 EPE 5.79, 패스 패스에서 7.28을 기록하며, 두 번째로 좋은 비지도 방법(각각 6.18과 7.40)을 능가한다.
• KITTI 2012 테스트 세트에서, 이 방법은 EPE를 1.78로 줄여 기준선을 크게 향상시키며, 많은 지도 학습 방법의 성능을 초월한다.
• 절단 실험 결과, 경계 확장 워핑과 막힘 보간을 결합하면 가장 뛰어난 성능을 내며, Flying Chairs에서 EPE를 2.62로 낮춘다.
• 막힘 영역에서 광학 손실을 제외하기만 해도 성능 향상이 이루어지지만, 막힘 보간과 함께 사용할 경우 가장 큰 향상이 이루어져, 막힘 영역에서의 정보적 지도 신호의 가치를 입증한다.
• 모든 평가된 벤치마크—Flying Chairs, KITTI, MPI-Sintel—에서 최신 기술 수준 성능을 달성하며, 다양한 데이터셋과 운동 패턴에 걸쳐 강건함을 입증한다.
• 정성적 결과는 제안된 방법이 막힘 영역(예: 의자 뒷면)의 운동을 정확히 복원하는 반면, 기준선 방법들은 잘못된 흐름 전파로 실패함을 보여준다.