[논문 리뷰] Multi-Scale RAFT: Combining Hierarchical Concepts for Learning-based Optical FLow Estimation

Azin Jahedi, Lukas Mehl외 2명|arXiv (Cornell University)|2022. 07. 25.

Retinal Imaging and Analysis인용 수 4

한 줄 요약

이 논문은 다중 척도 RAFT(MS-RAFT)를 제안하며, 단일 척도 RAFT 프레임워크를 개선하기 위해 군집적 추정, U-Net 스타일의 다중 척도 특징, 상관관계 피라미드, 다중 척도 다중 반복 손실을 통합한다. 이 방법은 MPI Sintel 및 KITTI 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 비차폐 영역에서 RAFT보다 최대 14.6% 높은 정확도를 기록했고, 더 뛰어난 강인성과 일반화 능력을 확보했다.

ABSTRACT

Many classical and learning-based optical flow methods rely on hierarchical concepts to improve both accuracy and robustness. However, one of the currently most successful approaches -- RAFT -- hardly exploits such concepts. In this work, we show that multi-scale ideas are still valuable. More precisely, using RAFT as a baseline, we propose a novel multi-scale neural network that combines several hierarchical concepts within a single estimation framework. These concepts include (i) a partially shared coarse-to-fine architecture, (ii) multi-scale features, (iii) a hierarchical cost volume and (iv) a multi-scale multi-iteration loss. Experiments on MPI Sintel and KITTI clearly demonstrate the benefits of our approach. They show not only substantial improvements compared to RAFT, but also state-of-the-art results -- in particular in non-occluded regions. Code will be available at https://github.com/cv-stuttgart/MS_RAFT.

연구 동기 및 목표

• 기존에 매우 성공한 단일 척도 광학 흐름 네트워크인 RAFT의 성능을 향상시키기 위해 이전 방법들에서 유래한 계층적 개념을 통합하고자 한다.
• PWC-Net과 SpyNet과 같이 이전에 효과적이었던 다중 척도 설계 원칙이 RAFT 아키텍처에 적용될 경우에도 여전히 유용한가를 조사하고자 한다.
• 통합된 다중 척도 특징 학습과 손실 감독을 통해 흐름 추정 정확도와 강인성을 향상시키고, 특히 비차폐 영역에서 성능 향상을 이루고자 한다.
• 샘플 단위로 강인화된 다중 척도 다중 반복 손실을 도입하여 더 강인한 훈련 목표를 개발하고자 한다.

제안 방법

• 흐름 추정을 군집적 추정에서부터 세밀한 척도로 반복적으로 개선하는 공유된 부분 공유된 군집적 추정 아키텍처를 도입하며, 학습된 볼록 마스크를 사용한 업샘플링을 활용한다.
• 에코더에서 유도된 다중 척도 특징을 통합하기 위해 U-Net 스타일의 스킵 연결을 활용하여 매칭 과정에서 척도 간 의미 정보를 풍부하게 한다.
• RAFT의 상관관계 피라미드를 유지하여 각 척도에서 국소가 아닌 비국소 비용 정보를 주입함으로써 매칭 정확도를 향상시킨다.
• 모든 척도와 반복 단계에서 감독을 적용하는 다중 척도 다중 반복 손실을 제안하며, 훈련 안정성과 일반화 능력을 향상시키기 위해 샘플 단위로 강인화된 방식을 적용한다.
• 모든 척도에서 공유되는 반복 업데이트 유닛을 사용하여 파라미터 효율성을 확보하면서도 높은 성능 유지를 이룬다.

실험 결과

연구 질문

• RQ1 군집적 추정 및 다중 척도 특징과 같은 다중 척도 설계 원칙이 단일 척도 RAFT 프레임워크에 적용될 경우 여전히 성능 향상에 기여하는가?
• RQ2 계층적 개념(군집적 추정, 다중 척도 특징, 상관관계 피라미드, 다중 척도 손실)을 통합했을 때 흐름 추정 정확도와 강인성에 어떤 영향을 미치는가?
• RQ3 샘플 단위로 강인화된 다중 척도 다중 반복 손실은 단일 척도 감독에 비해 더 나은 일반화 능력과 과적합 감소를 이끌어내는가?
• RQ4 제안된 구성 요소들이 도전적인 영역, 예를 들어 비차폐 영역에서 성능 향상에 얼마나 기여하는가?

주요 결과

• Sintel Final 벤치마크에서 MS-RAFT는 RAFT 대비 상대적으로 14.6% 향상된 종단 오차(EPE)를 기록했으며, EPE는 1.37이다.
• Sintel Clean 벤치마크에서 MS-RAFT는 EPE를 1.37로 줄였으며, RAFT의 1.61 EPE 대비 14.6% 향상된 성능을 보였다.
• 비차폐 영역에서 MS-RAFT는 최신 기술 수준 성능을 달성했으며, 뛰어난 정확도와 강인성을 입증했다.
• 제거 실험 결과, 군집적 추정 아키텍처, 다중 척도 특징, 다중 척도 손실의 조합이 필수적임을 확인했으며, 단일 구성 요소만으로는 뚜렷한 성능 향상이 없었다.
• 샘플 단위로 강인화된 다중 척도 다중 반복 손실은 과적합을 감소시키고 일반화 능력을 향상시켜 Sintel Final에서 단일 척도 손실 대비 EPE에서 43.6% 향상된 성능을 기록했다.
• 최고 성능을 낸 설정은 상관관계 피라미드에서 3개의 척도와 2개의 룩업 레벨을 사용했으며, 정확도와 계산 비용 사이의 균형을 잘 맞췄다.