[논문 리뷰] High Resolution Multi-Scale RAFT (Robust Vision Challenge 2022)

Azin Jahedi, Maximilian Luz외 3명|arXiv (Cornell University)|2022. 10. 30.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 MS-RAFT+를 제안하며, RAFT를 개선하여 요구 시 비용 계산과 추가적인 더 세밀한 스케일을 도입함으로써 사전에 계산된 비용 볼륨 없이도 전체 해상도의 광학 흐름 추정을 가능하게 하는 고해상도, 다중 스케일 광학 흐름 방법을 제시한다. 이는 VIPER, KITTI, Sintel, Middlebury를 포함한 모든 벤치마크에서 2022년 로버스트 비전 챌린지에서 1위를 차지하며 뛰어난 일반화 능력과 정확도를 입증하였다.

ABSTRACT

In this report, we present our optical flow approach, MS-RAFT+, that won the Robust Vision Challenge 2022. It is based on the MS-RAFT method, which successfully integrates several multi-scale concepts into single-scale RAFT. Our approach extends this method by exploiting an additional finer scale for estimating the flow, which is made feasible by on-demand cost computation. This way, it can not only operate at half the original resolution, but also use MS-RAFT's shared convex upsampler to obtain full resolution flow. Moreover, our approach relies on an adjusted fine-tuning scheme during training. This in turn aims at improving the generalization across benchmarks. Among all participating methods in the Robust Vision Challenge, our approach ranks first on VIPER and second on KITTI, Sintel, and Middlebury, resulting in the first place of the overall ranking.

연구 동기 및 목표

• 전체 해상도에서 광학 흐름 추정 정확도를 향상시키면서도 계산 효율성을 유지하기 위해.
• 작업별 특화 미세조정에 의존하지 않고 다양한 벤치마크 간 일반화 능력을 향상시키기 위해.
• 세부 사항 보존을 향상시키기 위해 MS-RAFT 프레임워크에 추가적인 더 세밀한 스케일을 도입하기 위해.
• 사전 계산된 비용 볼륨의 메모리 부담을 피하면서 요구 시 비용 계산을 통해 고해상도 흐름 추정을 가능하게 하기 위해.
• 다양한 데이터셋에서 강건성과 성능을 향상시키는 훈련 방식 개발하기 위해.

제안 방법

• 粗-세밀 추정 파이프라인에 추가적인 더 세밀한 스케일을 도입하여 MS-RAFT의 네 스케일 프레임워크를 확장한다.
• 모든 쌍의 비용 볼륨을 저장하지 않기 위해 특수화된 CUDA 커널을 사용한 요구 시 상관 비용 계산을 구현한다.
• 모든 스케일, 특히 전체 해상도 보간에 대해 공유된 반복적 흐름 정밀화와 학습된 볼록 보간을 사용한다.
• 다양한 벤치마크에서의 혼합 훈련 데이터와 샘플 단위 강건 손실을 조합한 수정된 미세조정 전략을 채택한다.
• 후행 프레임 특징의 연속적인 풀링을 통해 특징 피라미드를 구축하여 추론 및 훈련 중 동적 비용 계산을 가능하게 한다.
• 전체 해상도 보간에서 이중선형 보간을 제거하기 위해 학습된 볼록 보간을 사용한다.

실험 결과

연구 질문

• RQ1 추가적인 더 세밀한 스케일은 메모리나 계산량을 크게 증가시키지 않고도 광학 흐름 정확도를 향상시킬 수 있는가?
• RQ2 요구 시 비용 계산은 사전 계산된 비용 볼륨의 메모리 부담을 피하면서 어떻게 고해상도 흐름 추정을 가능하게 하는가?
• RQ3 혼합 훈련 전략은 KITTI, Sintel, Middlebury, VIPER와 같은 다양한 벤치마크 간 일반화 능력을 어느 정도 향상시키는가?
• RQ4 공유된 반복 정밀화 및 보간 아키텍처는 전체 해상도를 포함한 여러 스케일에서 성능을 유지할 수 있는가?
• RQ5 어떤 도전적인 벤치마크에서 최신 기술 수준의 접근 방식과 비교해 볼 때, 제안된 방법은 강건성과 정확도 측면에서 어떻게 성과를 내는가?

주요 결과

• MS-RAFT+는 로버스트 비전 챌린지 2022년에서 전체 순위 1위를 기록하여 모든 다른 방법을 압도하였다.
• VIPER 벤치마크에서 전체 순위 1위 및 모든 카테고리(낮, 저녁, 비, 눈, 밤)에서 1위를 기록하여 새로운 최신 기술 수준을 수립하였다.
• KITTI 2015에서 전체 순위 2위, RVC 참가자 중 비차폐 영역에서 1위를 기록하였으며, CamLiFlow++와 동일한 성능을 달성하였다.
• Sintel에서 소규모 이동 거리에 대해 클린 및 패러디 시퀀스 모두에서 1위를 기록하였고, RVC 순위에서 전체적으로 2위를 기록하였다.
• Middlebury에서 전체 순위 2위, RVC 방법 중 2위를 기록하였으며, Middlebury 훈련 데이터를 사용하지 않았음에도 불구하고 강력한 일반화 능력을 보였다.
• 차가운 초기화 상태에서 Sintel(Clean)에서 EPE(종점 오차)를 1.23으로 줄였고, Sintel(Final)에서는 2.68로 나타내어 차가운 시작 상태에서의 성능 향상이 뚜렷했다.