[논문 리뷰] EpicFlow: Edge-Preserving Interpolation of Correspondences for Optical Flow

Jérôme Revaud, Philippe Weinzaepfel외 2명|arXiv (Cornell University)|2015. 01. 12.

Advanced Vision and Imaging참고 문헌 21인용 수 59

한 줄 요약

EpicFlow는 큰 이동, 막힘, 운동 경계를 다루기 위해 경계 보존형 보간을 통해 흩어진 매칭을 경계 인식 지오데식 거리로 보간하는 새로운 광학 흐름 추정 방법을 제안한다. 보간된 조밀한 대응을 기반으로 한 단계적 변분 에너지 최소화를 초기화함으로써, MPI-Sintel에서 최신 기술 수준의 성능을 달성하고 Kitti와 Middlebury에서도 경쟁적인 결과를 얻으며, 단일 CPU 코어에서 이미지 쌍당 16.4초의 빠른 실행 시간을 기록한다.

ABSTRACT

We propose a novel approach for optical flow estimation , targeted at large displacements with significant oc-clusions. It consists of two steps: i) dense matching by edge-preserving interpolation from a sparse set of matches; ii) variational energy minimization initialized with the dense matches. The sparse-to-dense interpolation relies on an appropriate choice of the distance, namely an edge-aware geodesic distance. This distance is tailored to handle occlusions and motion boundaries -- two common and difficult issues for optical flow computation. We also propose an approximation scheme for the geodesic distance to allow fast computation without loss of performance. Subsequent to the dense interpolation step, standard one-level variational energy minimization is carried out on the dense matches to obtain the final flow estimation. The proposed approach, called Edge-Preserving Interpolation of Correspondences (EpicFlow) is fast and robust to large displacements. It significantly outperforms the state of the art on MPI-Sintel and performs on par on Kitti and Middlebury.

연구 동기 및 목표

• 큰 이동과 운동 불연속성이 존재할 경우 오차 전파와 국소 최솟값 문제로 인해 성능 저하를 겪는 코arse-to-fine 변분 광학 흐름 방법의 한계를 해결하기 위해.
• 희소 매칭과 윤곽 신호를 활용하여 조밀한 광학 흐름 추정을 향상시키기 위해, 운동 경계가 종종 이미지 윤곽과 일치한다는 사실을 활용하기 위해.
• 다중 척도 최적화에 의존하지 않고도 경계를 보존하고 막힘을 처리할 수 있는 빠르고 정확하며 강건한 보간 기법을 개발하기 위해.
• 경계 보존형 보간된 매칭으로 초기화된 단일 수준의 변분 최소화가 전통적인 코arse-to-fine 접근 방식보다 정확도와 강건성 면에서 뛰어나다는 것을 입증하기 위해.
• 계산 오버헤드를 줄이며 정확도를 유지하거나 향상시키는 코arse-to-fine 방법의 효율적인 대안을 제공하기 위해.

제안 방법

• 방법은 DeepMatching와 같은 강건한 매칭 알고리즘을 사용해 얻은 흩어진 특징 매칭 세트로 시작하며, 이는 큰 이동과 막힘에 대해 저항력이 있다.
• 이동 불연속성이 보존되는 것을 보장하기 위해 이미지 윤곽을 따라 경로를 우선시하는 경계 인식 지오데식 거리 메트릭을 도입한다.
• 지오데식 거리가 표준 유클리드 거리 대신 사용되는 국소 애파인 모델을 이용해 흩어진 매칭을 보간함으로써 조밀한 대응 필드를 생성한다.
• 정확도를 훼손하지 않으면서도 보간 단계를 크게 가속화하기 위해, 매칭당 하나의 애파인 모델만을 사용해 지오데식 거리를 근사하는 효율적인 근사 기법을 제안한다.
• 보간된 조밀한 대응 필드를 사용해 단일 수준의 변분 에너지 최소화를 초기화하며, 이는 표준 광학 흐름 최적화를 통해 흐름 필드를 정밀하게 보정한다.
• 지오데식 거리 계산을 가이드하기 위해 이미지 윤곽을 SED 방법으로 추출하여 경계 보존 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 경계 인식 거리 메트릭을 사용해 흩어진 매칭을 조밀한 매칭으로 보간함으로써, 큰 이동과 막힘 상황에서 광학 흐름 추정 성능을 향상시킬 수 있는가?
• RQ2 표준 유클리드 거리 대신 경계 인식 지오데식 거리 메트릭을 사용할 경우, 보간된 흐름 필드에서 운동 경계가 더 잘 보존되는가?
• RQ3 경계 보존형 보간된 매칭으로 초기화된 단일 수준의 변분 최소화가 정확도와 강건성 면에서 다중 척도 코arse-to-fine 접근 방식을 능가할 수 있는가?
• RQ4 정확도를 떨어뜨리지 않고도 지오데식 거리 계산을 근사 기법을 통해 가속화할 수 있는가?
• RQ5 MPI-Sintel, Kitti, Middlebury와 같은 벤치마크 데이터셋에서 제안된 방법은 최신 기술 수준의 광학 흐름 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• EpicFlow는 MPI-Sintel 테스트 세트에서 최고 성능을 기록했으며, 비막힘 영역에서 평균 종단점 오차(AEE)는 1.135, 막힘 영역에서는 3.727을 기록하여 표표 4에 나열된 모든 이전 방법을 능가한다.
• Kitti 데이터셋에서 EpicFlow는 비막힘 영역에서 AEE 1.5, 총합 AEE 3.8을 기록했으며, TF+OFM를 능가하고 NLTGV-SC와 동등한 성능을 내며 더 빠른 속도를 기록한다.
• 단일 CPU 코어에서 이미지 쌍당 16.4초가 소요되며, 이 중 91%가 매칭 단계에서 소요되어, 조밀한 보간 단계가 있음에도 불구하고 높은 효율성을 보인다.
• Middlebury 데이터셋에서는 AEE가 0.4 픽셀 이하로 떨어져, 큰 이동이 없는 상황에서도 뛰어난 성능을 보여준다.
• 실패 사례는 주로 얇은 구조물(예: 드래곤의 창이나 뿔)에서 매칭이 누락되거나 윤곽 감지가 잘못되어 배경으로 흐름이 유출되는 데 기인한다.
• 지오데식 거리 근사 기법 덕분에 정확도 손실 없이 빠른 계산이 가능해져 보간 단계가 실용적이고 효율적인 실세계 적용이 가능하다.