[논문 리뷰] Accurate Optical Flow via Direct Cost Volume Processing

Xu Jia, René Ranftl외 1명|arXiv (Cornell University)|2017. 04. 24.

Advanced Vision and Imaging참고 문헌 11인용 수 31

한 줄 요약

이 논문은 학습된 특징 임bedding과 적응형 반구역적 매칭(SGM) 알고리즘을 사용하여 전체 4차원 비용 볼륨을 구성하고 처리하는 직접적인 광학 흐름 방법을 제안한다. 비용 볼륨의 규칙성에 기반하여, 이 접근법은 Sintel 및 KITTI 2015 벤치마크에서 최신 기술 수준의 정확도를 달성하면서도 경쟁적인 추론 속도를 유지하며, 이전의 일반 목적 방법들보다도 뚜렷한 격차를 확보한다.

ABSTRACT

We present an optical flow estimation approach that operates on the full four-dimensional cost volume. This direct approach shares the structural benefits of leading stereo matching pipelines, which are known to yield high accuracy. To this day, such approaches have been considered impractical due to the size of the cost volume. We show that the full four-dimensional cost volume can be constructed in a fraction of a second due to its regularity. We then exploit this regularity further by adapting semi-global matching to the four-dimensional setting. This yields a pipeline that achieves significantly higher accuracy than state-of-the-art optical flow methods while being faster than most. Our approach outperforms all published general-purpose optical flow methods on both Sintel and KITTI 2015 benchmarks.

연구 동기 및 목표

• 큰 이동 거리, 무문자 영역, 운동 왜곡에도 불구하고 높은 정확도를 달성하는 데 오랫동안 지속된 과제를 해결하기 위해.
• 스테레오 매칭과 광학 흐름 사이의 격차를 메우기 위해, 스테레오에서 효과적임이 입증된 비용 볼륨 처리 기법을 광학 흐름에 적용함으로써, 비용이 많이 들기 때문에 어려움이 있었음에도 불구하고.
• 학습된 특징 임bedding과 정규화된 최적화를 통해 전체 4차원 비용 볼륨 처리가 실현 가능하고 효율적임을 보여주기 위해.
• 도메인 특화 지도 학습이나 대규모 신경망에 의존하지 않고도 표준 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 이 방법은 이미지 패치 간의 내적곱 기반 매칭을 가능하게 하는 특징 임bedding을 학습하기 위해 소형 컨volution 신경망(112K 파라미터)을 사용한다.
• 검색 공간의 규칙적인 구조와 학습된 특징의 사용 덕분에, 전체 4차원 비용 볼륨이 빠르게 구성된다(300ms 이내).
• 공간적 일관성을 강제하고 노이즈를 제거하기 위해 반구역적 매칭(SGM)이 4차원 설정에 적응되어, 규칙적인 격자 구조에서 발생하는 대량의 병렬성을 활용한다.
• 후처리 단계로는 정렬된 영역에서의 유사도를 향상시키기 위해 호모지어피 기반 인painting을 적용하며, 이는 강체 영역에서 평면 운동이 지배적인 경우에 특히 효과적이다.
• 이 파이프라인은 두 단계의 접근 방식을 사용한다: 학습된 특징을 통한 비용 볼륨 구성, 그 다음 SGM 최적화 및 호모지어피 정규화.
• 실행 시간 최적화를 위해 빠른 추론(80ms 비용 볼륨)과 최종 흐름 정밀화를 위한 효율적인 보간(이피크플로우)을 사용한다.

실험 결과

연구 질문

• RQ1 실시간 광학 흐름 추정에 충분히 효율적인 전체 4차원 비용 볼륨을 구성할 수 있는가?
• RQ2 SGM와 같은 전역 최적화 기법을 사용해 4차원 비용 볼륨을 직접 처리하면 기존 광학 흐름 방법보다 더 높은 정확도를 달성할 수 있는가?
• RQ3 고전적인 매칭 함수(예: NCC)를 대체할 수 있는 소형 학습된 특징 임bedding이 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 호모지어피 기반 후처리가 강체 평면 영역에서의 흐름 정확도를 어느 정도 향상시키는가?
• RQ5 비용 볼륨 기반 광학 흐름 방법이 도메인 특화 지도 학습 없이도 종합적으로 최신 기술 수준의 정확도와 속도를 초월할 수 있는가?

주요 결과

• 제안된 방법은 Sintel 벤치마크에서 평균 종단 간 픽셀 오차(AEPE) 5.44를 달성하여, 발표된 모든 일반 목적 광학 흐름 방법보다 뛰어난 성능을 보였다.
• KITTI 2015 벤치마크에서, 제출 당시 최고의 이전 작업('Patch-Batch') 대비 Fl-all 오차를 29.5% 감소시켰다.
• 비용 볼륨 구성은 빠른 모드에서 80ms, 정확한 모드에서 260ms로 이루어져, 4차원 비용 볼륨 처리가 계산적으로 실현 가능하다는 것을 입증했다.
• 단지 10차원의 특징 임bedding을 사용해도 강력한 성능(이를테면 Sintel에서 AEPE: 5.71)을 달성함으로써, 고차원 특징이 반드시 필요한 것은 아님을 시사한다.
• 호모지어피 기반 후처리를 추가함으로써 KITTI에서 정확도가 크게 향상되었지만(S15.09% 오차 감소), Sintel에는 덜 영향을 미쳐, 장면의 강체성 차이를 반영한다.
• Full Flow [7]보다 10배 이상 빠르며, 대부분의 비용 볼륨 구성 방식을 피하는 방법들보다도 더 빠르면서도 더 높은 정확도를 달성한다.