[논문 리뷰] CNN based Patch Matching for Optical Flow with Thresholded Hinge Loss.

Christian Bailer, Kiran Varanasi외 1명|arXiv (Cornell University)|2016. 07. 27.

Advanced Vision and Imaging참고 문헌 11인용 수 9

한 줄 요약

이 논문은 다중 척도 CNN 특징과 시아네스 네트워크를 위한 새로운 임계값이 부여된 힌지 손실을 활용하는 CNN 기반 패치 매칭 프레임워크를 제안하여, 광학 흐름 추정에서 성능과 학습 효율성을 크게 향상시킨다. 이는 KITTI 2012에서 최고 수준의 성능을 기록하고, KITTI 2015에서 전경 성능이 가장 뛰어나며, 특징 맵의 저역통과 필터링을 통해 특징의 강건성을 향상시킨다.

ABSTRACT

Learning based approaches have not yet achieved their full potential in optical flow estimation, where their performance still trails heuristic approaches. In this paper, we present a novel optical flow pipeline that uses patch-matching with CNN trained features at multiple scales. We show a novel way for calculating CNN based features for different scales, which performs better than existing methods. Furthermore, we introduce a new thresholded loss for Siamese networks and demonstrate that our novel loss performs clearly better than existing losses. It also allows to speed up training by a factor of 2 in our tests. Moreover, we discuss new ways of evaluating the robustness of trained features for the application of patch matching for optical flow. An interesting discovery in our paper is that low pass filtering feature maps can increase the robustness of features created by CNNs. We prove competitive performance of our approach by submitting it to the KITTI 2012 and KITTI 2015 evaluation portals and obtaining the best results on KITTI 2012 and the best for foreground objects in KITTI 2015.

연구 동기 및 목표

• 학습 기반 방법과 히우리스틱 방법 간의 성능 격차를 해소하기 위해.
• 패치 매칭을 위한 특징 표현을 향상시키기 위해 다중 척도 CNN 특징을 학습하기 위해.
• 시아네스 네트워크의 학습 효율성과 정확도를 향상시키는 새로운 손실 함수를 개발하기 위해.
• 광학 흐름 응용을 위한 CNN 기반 특징의 강건성을 평가하고 향상시키기 위해.
• 특징 맵 필터링이 패치 매칭에서의 강건성과 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 패치 매칭을 위한 특징 표현에서 기존 방법을 능가하는 다중 척도 CNN 특징 추출 파이프라인을 제안한다.
• 시아네스 네트워크를 위한 새로운 임계값이 부여된 힌지 손실을 도입하여, 학습 수렴 속도를 향상시키고 최대 2배까지 학습 시간을 단축시킨다.
• CNN 특징 맵에 저역통과 필터링을 적용하여 입력 패치의 노이즈와 변동성에 대한 강건성을 향상시킨다.
• 다중 척도의 CNN 기반 특징을 사용하는 패치 매칭 프레임워크를 설계하여 대응 매칭 정확도를 향상시킨다.
• 패치 매칭을 위한 새로운 평가 프로토콜을 통해 특징의 강건성을 검증한다.
• KITTI 2012 및 KITTI 2015를 포함한 표준 벤치마크에서 추론을 최적화한 전체 파이프라인을 구축한다.

실험 결과

연구 질문

• RQ1 기존 특징 학습 방법과 비교해 다중 척도 CNN 특징이 광학 흐름 추정 성능을 향상시킬 수 있는가?
• RQ2 임계값이 부여된 힌지 손실이 광학 흐름을 위한 시아네스 네트워크에서 더 빠른 수렴과 향상된 성능을 이끌 수 있는가?
• RQ3 CNN 특징 맵의 저역통과 필터링이 광학 흐름 추정에서 패치 매칭의 강건성에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 KITTI 2012 및 KITTI 2015와 같은 표준 광학 흐름 벤치마크에서 최고 수준의 성능을 달성할 수 있는가?
• RQ5 패치 매칭을 위한 CNN 기반 특징의 강건성에 영향을 미치는 주요 요인은 무엇인가?

주요 결과

• 제안된 방법은 모든 제출 사례 중에서 KITTI 2012 벤치마크에서 최고 성능을 기록했다.
• KITTI 2015 벤치마크에서 전경 객체에 대해 가장 뛰어난 성능을 기록하여 도전적인 운동 영역에서도 뛰어난 성능을 보였다.
• 임계값이 부여된 힌지 손실은 성능에 손상이 없이 학습 시간을 2배로 단축시켰다.
• CNN 특징 맵의 저역통과 필터링이 노이즈와 공간적 변동성에 대한 특징의 강건성을 크게 향상시킨 것으로 확인되었다.
• 다중 척도 CNN 특징 추출 방법은 대응 정확도와 일반화 능력 측면에서 기존 접근 방식을 능가했다.
• 새로운 패치 매칭 평가 프로토콜을 통해 검증된 바와 같이, 프레임워크는 특징 매칭에서 뛰어난 강건성을 보였다.