[논문 리뷰] VideoFlow: Exploiting Temporal Cues for Multi-frame Optical Flow Estimation

Xiaoyu Shi, Zhaoyang Huang외 8명|arXiv (Cornell University)|2023. 03. 15.

Advanced Vision and Imaging인용 수 4

한 줄 요약

VideoFlow는 TRi-frame Optical Flow (TROF) 모듈과 MOtion Propagation (MOP) 모듈을 통해 시간적 정보를 활용하여 연속된 다중 프레임 영상에서 이중 방향 광학 흐름을 동시에 추정하는 새로운 광학 흐름 프레임워크를 제안한다. 이는 Sintel final 및 clean 패assing에서 각각 15.1%, 7.6%의 오차 감소를 이끌어내고 KITTI-2015에서는 19.2%의 오차 감소를 기록하여 모든 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

We introduce VideoFlow, a novel optical flow estimation framework for videos. In contrast to previous methods that learn to estimate optical flow from two frames, VideoFlow concurrently estimates bi-directional optical flows for multiple frames that are available in videos by sufficiently exploiting temporal cues. We first propose a TRi-frame Optical Flow (TROF) module that estimates bi-directional optical flows for the center frame in a three-frame manner. The information of the frame triplet is iteratively fused onto the center frame. To extend TROF for handling more frames, we further propose a MOtion Propagation (MOP) module that bridges multiple TROFs and propagates motion features between adjacent TROFs. With the iterative flow estimation refinement, the information fused in individual TROFs can be propagated into the whole sequence via MOP. By effectively exploiting video information, VideoFlow presents extraordinary performance, ranking 1st on all public benchmarks. On the Sintel benchmark, VideoFlow achieves 1.649 and 0.991 average end-point-error (AEPE) on the final and clean passes, a 15.1% and 7.6% error reduction from the best-published results (1.943 and 1.073 from FlowFormer++). On the KITTI-2015 benchmark, VideoFlow achieves an F1-all error of 3.65%, a 19.2% error reduction from the best-published result (4.52% from FlowFormer++). Code is released at \url{https://github.com/XiaoyuShi97/VideoFlow}.

연구 동기 및 목표

• 기존 광학 흐름 방법이 두 프레임 추정에 국한되어 추가로 얻을 수 있는 시간적 정보를 간과한다는 한계를 해결하기 위해.
• 다중 프레임에 대해 동시에 이중 방향 광학 흐름을 추정할 수 있는 통합 프레임워크를 개발하여 더 나은 운동 모델링과 강건성을 확보하기 위해.
• 더 넓은 시간적 맥락을 활용하여 오clusion 영역 및 경계를 벗어난 픽셀에서의 모호함을 줄이고 흐름 정확도를 향상시키기 위해.
• 3프레임 흐름 추정을 더 긴 영상 시퀀스로 확장할 수 있는 확장 가능한 아키텍처를 설계하기 위해.

제안 방법

• TRi-frame Optical Flow (TROF) 모듈은 중심 프레임에서 이전 및 이후 프레임으로의 이중 방향 광학 흐름을 동시에 추정하여 시간에 따라 동일한 픽셀에서 운동 특징이 정렬되도록 보장한다.
• TROF는 공유된 특징 공간에서 이중 방향 흐름 예측값과 상관 특징을 통합함으로써 반복적으로 운동 특징을 정밀하게 개선하는 순환 융합 메커니즘을 사용한다.
• MOtion Propagation (MOP) 모듈은 예측된 흐름 경로 沿해 운동 특징을 전파함으로써 다중 TROF 유닛을 연결한다. 이때 운동 상태 특징 $\mathbf{M}_{t}^{k}$ 를 사용한다.
• MOP는 반복 과정을 통해 시간적 수용 영역이 점차 증가하게 하여, 먼 프레임의 정보가 미분 가능하고 동적으로 흐름 예측에 영향을 주도록 한다.
• 모델은 반복적인 정밀화를 갖는 순환 디코더를 사용하며, 현재의 흐름 추정에 기반해 인접한 TROF 유닛 간에 운동 특징을 워핑한다.
• 모델은 표준 광학 흐름 손실 함수를 사용하여 엔드 투 엔드로 훈련되며, 이중 방향 흐름 예측은 설계상 대칭적이므로 일관성이 향상된다.

실험 결과

연구 질문

• RQ1 중앙 프레임에서 이중 방향 광학 흐름을 동시에 추정하는 것이 두 프레임 방법에서 발생하는 정렬 오류를 줄이고 운동 일관성을 향상시키는가?
• RQ2 다중 프레임의 시간적 맥락을 효과적으로 융합하여 오clusion이나 모호한 영역에서의 흐름 추정 성능을 향상시킬 수 있는가?
• RQ3 다중 TROF 유닛 간에 운동 특징을 전파하는 최적의 방법은 무엇인가? 이는 3프레임 흐름 추정을 더 긴 영상 시퀀스로 확장하는 데 기여하는가?
• RQ4 전파 과정에서 운동 상태 특징을 유지하는 것이 단순한 특징 전달 방식보다 다중 프레임 광학 흐름 추정에서 더 나은 성능을 내는가?
• RQ5 다중 프레임 광학 흐름 프레임워크가 Sintel 및 KITTI-2015와 같은 표준 벤치마크에서 최신 기술(SOTA) 두 프레임 모델을 초월할 수 있는가?

주요 결과

• Sintel final 패assing에서 VideoFlow는 평균 종단 오차(AEPE) 1.649를 기록하여 이전 최고 성능인 1.943 대비 15.1% 감소했다.
• Sintel clean 패assing에서는 AEPE 0.991을 기록하여 이전 최고 성능인 1.073 대비 7.6% 오차 감소를 달성했다.
• KITTI-2015 벤치마크에서는 F1-all 오차 3.65%를 기록하여 이전 최고 성능인 4.52% 대비 19.2% 오차 감소를 기록했다.
• 제거 실험 결과, TROF 내 이중 방향 흐름 추정과 순환 융합이 성능 향상에 크게 기여하며, 후자는 Sintel final 패assing에서 AEPE를 0.07 감소시켰다.
• 운동 상태 특징 전파를 통한 MOP 모듈은 단순한 특징 전달 기반 베이스라인 대비 KITTI-2015에서 F1-all 오차를 1.3% 감소시켜 최고 성능을 달성했다.
• 이중 방향 흐름 예측은 대칭적이며 높은 정확도를 보이며, 전방 및 후방 흐름 모두 유사한 AEPE 값을 기록하여 모델의 일관성과 강건성을 확인했다.