[논문 리뷰] AutoFlow: Learning a Better Training Set for Optical Flow

Deqing Sun, Daniel Vlasic외 7명|arXiv (Cornell University)|2021. 04. 29.

Advanced Vision and Imaging참고 문헌 51인용 수 4

한 줄 요약

AutoFlow는 목표 데이터셋에서 모델 성능을 최대화하기 위해 渲染 하이퍼파rameter를 최적화하는 학습 가능한 2차원 층화된 합성 데이터 생성 방법을 제안한다. 유연한 2차원 운동 및 형태 매개변수화와 미분 가능한 훈련을 통해 AutoFlow는 최신 기술 수준의 성능을 달성한다 — RAFT를 단 4개의 증강된 예제로 훈련시키면 22,872개의 FlyingChairs 예제로 훈련시킨 것보다 더 높은 성능을 내며, 이는 상태 최고 수준의 결과이다.

ABSTRACT

Synthetic datasets play a critical role in pre-training CNN models for optical flow, but they are painstaking to generate and hard to adapt to new applications. To automate the process, we present AutoFlow, a simple and effective method to render training data for optical flow that optimizes the performance of a model on a target dataset. AutoFlow takes a layered approach to render synthetic data, where the motion, shape, and appearance of each layer are controlled by learnable hyperparameters. Experimental results show that AutoFlow achieves state-of-the-art accuracy in pre-training both PWC-Net and RAFT. Our code and data are available at https://autoflow-google.github.io .

연구 동기 및 목표

• 딥 네트워크의 사전 훈련에 필수적인 합성 광학 흐름 데이터셋의 원칙적인 설계 부족 문제를 해결하기 위해.
• FlyingChairs나 FlyingThings3D와 같은 복잡한 3D 기반 합성 데이터셋보다 단순하고 학습 가능한 렌더링 파이프라인으로도 성능을 뛰어넘을 수 있는지 조사하기 위해.
• 모델 일반화 및 정확도에 가장 큰 영향을 미치는 데이터 특성(예: 운동 통계, 객체 수, 증강 기법 등)은 무엇인지 규명하기 위해.
• 목표 데이터셋에 직접적으로 사전 훈련 데이터 분포를 최적화하는 것이 고정된 수작업 설계된 데이터셋을 사용하는 것보다 더 나은 최종 성능을 이끌어내는지 탐색하기 위해.

제안 방법

• AutoFlow는 각 층이 운동, 형태, 외관에 대한 학습 가능한 하이퍼파rameter를 갖는 2차원 층화된 렌더링 파이프라인을 사용한다.
• 렌더링 과정은 미분 가능하며, 이는 목표 데이터셋에서의 모델 오차를 최소화하기 위해 경사 하강법을 통한 하이퍼파rameter의 종단 간 최적화를 가능하게 한다.
• 이 방법은 합성 데이터 생성과 모델 훈련 과정을 동시에 최적화하며, 목표 데이터셋의 성능을 목적 함수로 사용한다.
• 하이퍼파라미터에는 전경 객체 수, 운동 모델(이차 보간 그리드 워핑 포함), 형태 및 외관 렌더링 파rameter 등이 포함된다.
• 다양성 증가와 일반화 향상을 위해 훈련 중에 데이터 증강(예: RandAugment)이 적용된다.
• 이 접근법은 AutoFlow가 생성한 데이터로 PWC-Net과 RAFT와 같은 모델을 사전 훈련하고, Sintel 및 KITTI 벤치마크에서 성능을 측정함으로써 평가된다.

실험 결과

연구 질문

• RQ1 학습 가능한 하이퍼파라미터를 갖는 단순한 2차원 층화된 렌더링 파이프라인은 FlyingChairs와 같은 복잡한 3D 기반 합성 데이터셋보다 광학 흐름 모델의 사전 훈련에서 더 뛰어난 성능을 낼 수 있는가?
• RQ2 특정 데이터 특성(예: 운동 크기 분포, 객체 수, 증강 유형 등) 중에서 높은 모델 정확도를 달성하는 데 가장 중요한 것은 무엇인가?
• RQ3 목표 데이터셋에 직접적으로 사전 훈련 데이터 분포를 최적화하는 것이 고정된 수작업 설계된 데이터셋을 사용하는 것보다 더 나은 일반화를 이끌어내는가?
• RQ4 AutoFlow가 생성한 데이터로 얼마나 적은 수의 훈련 예제로도 대규모 합성 데이터셋 수준의 성능을 달성할 수 있는가?
• RQ5 Sintel과 같은 실제 데이터셋의 운동 통계와 크게 다를 뿐만 아니라, 왜 AutoFlow는 성능이 뛰어나게 작동하는가?

주요 결과

• 4개의 증강된 AutoFlow 예제로 RAFT를 훈련시키면 Sintel.final에서 AEPE가 3.57로 나타나, 증강된 22,872개의 FlyingChairs 예제로 훈련시킨 결과(3.57 vs. 3.57)와 동일한 성능을 내며, 최종 모델은 FlyingChairs보다 더 낮은 2.57 AEPE를 기록한다.
• AutoFlow 사전 훈련을 통해 PWC-Net의 Sintel.final에서의 AEPE는 4.42(FlyingChairs 기반)에서 2.91로 감소하여, FlyingChairs로 사전 훈련한 RAFT와 경쟁 가능한 성능을 달성한다.
• PWC-Net과 RAFT 모두 충분한 AutoFlow 데이터로 사전 훈련을 거치면 두 모델 간 성능 격차가 크게 줄어들며, 이는 AutoFlow가 보다 단순한 모델에 대해 더 효과적인 학습을 가능하게 한다는 것을 시사한다.
• AutoFlow의 운동 통계는 Sintel과 FlyingChairs와 다릅니다 — 중간에서 높은 운동 범위에 집중하고 작고 미세한 운동은 부족하게 표현되며, 이는 미세한 운동이 총 오차 지표에 기여도가 낮기 때문일 수 있다.
• 색상 증강을 끄면 KITTI에서 성능이 심각하게 떨어지며(AEPE가 4.66에서 14.06으로 증가), 실제 환경에서의 일반화에 조명 변화의 중요성이 높다는 것을 시사한다.
• 이 방법은 잘 일반화된다: Sintel.final 또는 KITTI에서 학습한 하이퍼파라미터는 둘 다 유사한 성능을 내며, 이는 렌더링 파이프라인이 정규화 기능을 수행한다는 것을 의미한다.