[논문 리뷰] UPFlow: Upsampling Pyramid for Unsupervised Optical Flow Learning

Kunming Luo, Chuan Wang외 4명|arXiv (Cornell University)|2020. 12. 01.

Advanced Vision and Imaging참고 문헌 45인용 수 4

한 줄 요약

이 논문은 피라미드 기반 네트워크의 보간 흐림을 줄이기 위해 자기 지도형 업샘플링 모듈을 도입하고, 가장 해상도가 높은 흐름을 가짜 레이블로 사용하여 중간 수준을 지도하는 피라미드 디스틸레이션 손실을 제안하는 UPFlow를 제안한다. 이 방법은 지도 학습이 없는 조건에서도 최신 기술 수준의 성능을 달성하며, KITTI 2012에서 EPE=1.4, KITTI 2015에서 F1=9.38%를 기록하여 이전의 비지도 학습 방법보다 각각 22.2%와 15.7% 향상되었다.

ABSTRACT

We present an unsupervised learning approach for optical flow estimation by improving the upsampling and learning of pyramid network. We design a self-guided upsample module to tackle the interpolation blur problem caused by bilinear upsampling between pyramid levels. Moreover, we propose a pyramid distillation loss to add supervision for intermediate levels via distilling the finest flow as pseudo labels. By integrating these two components together, our method achieves the best performance for unsupervised optical flow learning on multiple leading benchmarks, including MPI-SIntel, KITTI 2012 and KITTI 2015. In particular, we achieve EPE=1.4 on KITTI 2012 and F1=9.38% on KITTI 2015, which outperform the previous state-of-the-art methods by 22.2% and 15.7%, respectively.

연구 동기 및 목표

• 이중선형 업샘플링으로 인해 피라미드 기반 광학 흐름 네트워크에서 발생하는 보간 흐림 문제를 해결하기 위해.
• 일반적으로 지도되지 않은 피라미드 중간 수준의 학습을 향상시키기 위해.
• 가장 해상도가 높은 흐름을 가짜 레이블로 활용하여 더 흐린 수준에서의 디스틸레이션을 통해 흐름 추정 정확도를 향상시키기 위해.
• 지상 진술 레이블 없이도 비지도 학습 기준에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 흐름을 학습하여 보간을 지도하는 업샘플링 모듈을 도입하여 운동 경계에서의 흐림을 줄인다.
• 디코더의 특징 맵을 사용해 정렬 인식형 보간을 학습함으로써 세부 사항 보존을 향상시킨다.
• 최고 해상도의 흐름을 가짜 레이블로 사용하여 중간 피라미드 수준을 지도하는 피라미드 디스틸레이션 손실을 제안한다.
• 신뢰할 수 없는 영역을 제외하고 가짜 레이블 품질을 향상시키기 위해 디스틸레이션 중에 막힘 마스크를 적용한다.
• 자기 지도형 업샘플링과 피라미드 디스틸레이션 손실을 통합된 비지도 학습 프레임워크 내에서 결합한다.
• 최신 손실 외에도 표준 광학적, 부드러움, 센서스 손실을 사용하여 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 학습 가능한 업샘플링 메커니즘이 피라미드 기반 광학 흐름 네트워크의 보간 흐림을 줄일 수 있는가?
• RQ2 가장 해상도가 높은 흐름에서 유도된 가짜 레이블로 중간 피라미드 수준을 지도하면 전체 흐름 추정 성능이 향상되는가?
• RQ3 지상 진술 없이도 디스틸레이션 기반 손실 전략이 비지도 학습 광학 흐름 성능 향상에 기여하는가?
• RQ4 자기 지도형 업샘플링과 피라미드 디스틸레이션 손실의 통합은 표준 벤치마크에서 이전의 비지도 학습 방법보다 어떻게 비교되는가?

주요 결과

• UPFlow는 KITTI 2012 벤치마크에서 EPE 1.4를 기록하여 이전 최신 기술 수준 대비 22.2% 상대적 향상률을 달성했다.
• KITTI 2015 벤치마크에서 UPFlow는 F1 점수 9.38%를 기록하여 이전 최신 기술 수준 대비 15.7% 상대적 향상률을 달성했다.
• 자기 지도형 업샘플링 모듈은 JBU, GF, DJF와 같은 이미지 지도 방법보다 우수한 경계 보존 성능을 보였다.
• 제거 실험 결과, 자기 지도형 모듈의 보간 맵이나 흐름을 제거하면 성능이 떨어지며, 이는 이 요소들이 중요하다는 것을 확인한다.
• 막힘 마스크를 적용한 피라미드 디스틸레이션 손실은 비지도 손실(PUL-up/PUL-down)보다 더 우수한 성능을 보였으며, 가짜 레이블 지도의 유용성을 입증한다.
• 자기 지도형 업샘플링과 피라미드 디스틸레이션 손실을 모두 포함한 전체 UPFlow 모델은 Sintel, MPI-Sintel, KITTI 2012, KITTI 2015를 포함한 모든 평가된 벤치마크에서 최고의 성능을 기록했다.