[논문 리뷰] Full Flow: Optical Flow Estimation By Global Optimization over Regular Grids

Qifeng Chen, Vladlen Koltun|arXiv (Cornell University)|2016. 04. 12.

Advanced Vision and Imaging참고 문헌 3인용 수 19

한 줄 요약

이 논문은 기존의 디스크립터 매칭 없이 전체 정규 격자에서 고전적인 Horn-Schunck 유형의 목적함수를 직접 최소화하는 전역 최적화 방법인 Full Flow를 제안한다. 격자의 규칙적인 구조를 활용함으로써, 단일 해상도에서의 단일 스텝 전역 최적화만을 사용하여 Sintel 및 KITTI 2015 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a global optimization approach to optical flow estimation. The approach optimizes a classical optical flow objective over the full space of mappings between discrete grids. No descriptor matching is used. The highly regular structure of the space of mappings enables optimizations that reduce the computational complexity of the algorithm's inner loop from quadratic to linear and support efficient matching of tens of thousands of nodes to tens of thousands of displacements. We show that one-shot global optimization of a classical Horn-Schunck-type objective over regular grids at a single resolution is sufficient to initialize continuous interpolation and achieve state-of-the-art performance on challenging modern benchmarks.

연구 동기 및 목표

• 국소 최적화의 한계를 해결하기 위해, 이는 종종 국소 최솟값에 갇히기 때문이다.
• 광학 흐름 목적함수와 함께 최적화되지 않는 별도의 디스크립터 매칭 모듈이 필요 없도록 하기 위해.
• 정규 격자 위의 전체 사상 공간에 대한 전역 최적화가 계산적으로 실현 가능하고 효과적임을 보여주기 위해.
• 최신 기술 수준의 정확도를 달성하기 위해, 고전적인 Horn-Schunck 목적함수를 전역적으로 최적화하는 단순한 접근법이 효과적임을 보여주기 위해.
• 다양한 데이터 및 정규화 항을 지원하는 간단하고 일반화 가능한 광학 흐름 프레임워크를 제공하기 위해.

제안 방법

• 광학 흐름 추정을 풀 밀도 2D 픽셀 대응 관계에 대한 마르코프 무역장(MRF)으로 공식화한다.
• 전역 이산 최적화를 사용하여 고전적인 Horn-Schunck 목적함수를 최적화한다: $ E(f) = E_{\text{data}}(f) + \lambda E_{\text{reg}}(f) $.
• 격자의 규칙적인 구조를 활용하여 최소화 컨볼루션 알고리즘을 통해 메시지 전파를 가속화함으로써 내부 루프의 복잡도를 이차원에서 선형으로 감소시킨다.
• 큰 이동과 밝기 변화에 대해 더 뛰어난 내성성을 확보하기 위해 패치 기반의 절삭된 NCC 데이터 항을 사용한다.
• 특히 이상치가 존재할 경우에도 내성성을 향상시키기 위해 정규화 항으로 $ L^1 $-노름 페널티를 사용한다.
• 최종 고정밀도 출력을 위해 전역적으로 최적화된 이산 광학 흐름에 연속 보간(예: Revaud 등)을 적용한다.

실험 결과

연구 질문

• RQ1 전체 정규 격자에서 고전적인 Horn-Schunck 목적함수의 전역 최적화가 Sintel 및 KITTI 2015 벤치마크에서 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ2 디스크립터 매칭을 제거하고 광학 흐름 목적함수의 전역 최적화에만 의존할 경우, 기존 방법보다 더 높은 성능을 달성할 수 있는가?
• RQ3 격자의 규칙적인 구조를 활용하여 대규모 광학 흐름에 대해 전역 최적화를 계산적으로 실현 가능하게 만들 수 있는가?
• RQ4 다양한 데이터 항과 정규화 함수가 전역 최적화 프레임워크 내에서 성능에 어떤 영향을 미치는가?
• RQ5 다중 해상도 보정 없이 단일 해상도에서의 단일 스텝 전역 최적화로도 높은 정확도를 달성하는 데 충분한가?

주요 결과

• 전체 정규 격자에서 고전적인 Horn-Schunck 목적함수의 전역 최적화는 Sintel 및 KITTI 2015 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 패치 기반 절삭된 NCC 데이터 항은 픽셀 단위의 Horn-Schunck 데이터 항보다 크게 뛰어나며, 기준 대비 평균 종단점 오차(EPE)를 10퍼센트 이상 감소시킨다.
• $ L^1 $-노름 페널티 정규화는 가장 우수한 성능을 보이며, Sintel 벤치마크에서 평균 EPE 5.847을 기록한다.
• 고전적인 이차 정규화 항을 유지하면서 픽셀 단위의 데이터 항을 패치 기반 NCC 항으로 대체하면, 최상위 성능 기준의 90퍼센트 수준의 정확도를 달성한다.
• 모든 테스트 이미지에서 높은 정확도를 달성하며, 특히 과도한 시나리오에서 패치 기반 NCC 항이 뛰어난 내성성을 보인다.
• 최소화 컨볼루션 가속화 덕분에 매우 효율적이며, 수만 개의 노드를 포함하는 전역 최적화를 선형 복잡도로 수행할 수 있다.