[논문 리뷰] FusionNet and AugmentedFlowNet: Selective Proxy Ground Truth for Training on Unlabeled Images

Osama Makansi, Eddy Ilg외 1명|arXiv (Cornell University)|2018. 08. 20.

Advanced Neural Network Applications참고 문헌 22인용 수 3

한 줄 요약

이 논문은 여러 개의 옵티컬 플로우 추정치를 학습된 평가 네트워크를 사용해 통합하여 고품질의 프록시 지상 참조를 생성하고, 이 프록시를 기반으로 미세조정된 AugmentedFlowNet을 제안한다. 이는 비지도 학습을 통한 도메인 적응을 가능하게 한다. 이 방법은 레이블이 없는 실세계 영상 데이터를 활용하여 옵티컬 플로우 추정의 정확도와 강건성을 향상시켜 KITTI 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Recent work has shown that convolutional neural networks (CNNs) can be used to estimate optical flow with high quality and fast runtime. This makes them preferable for real-world applications. However, such networks require very large training datasets. Engineering the training data is difficult and/or laborious. This paper shows how to augment a network trained on an existing synthetic dataset with large amounts of additional unlabelled data. In particular, we introduce a selection mechanism to assemble from multiple estimates a joint optical flow field, which outperforms that of all input methods. The latter can be used as proxy-ground-truth to train a network on real-world data and to adapt it to specific domains of interest. Our experimental results show that the performance of networks improves considerably, both, in cross-domain and in domain-specific scenarios. As a consequence, we obtain state-of-the-art results on the KITTI benchmarks.

연구 동기 및 목표

• 옵티컬 플로우 추정에서 합성 학습 데이터와 실세계 이미지 사이의 도메인 갭을 해결하기 위해.
• 수동 레이블링이 필요 없이 실세계 데이터에서 옵티컬 플로우 네트워크 성능을 향상시키기 위해.
• 레이블이 없는 영상만을 사용하여 도메인 특화의 적응을 가능하게 하기 위해.
• 개별 옵티컬 플로우 추정 기법보다 우수한 성능을 보이는 프록시 지상 참조 방법을 개발하기 위해.
• 자기지도 학습을 통한 적응을 통해 옵티컬 플로우 추정에서 최신 기술 수준의 정확도-처리 시간 트레이드오프를 달성하기 위해.

제안 방법

• FusionNet는 다수의 입력 옵티컬 플로우 필드의 오차를 예측하도록 훈련되어, 픽셀 단위로 가장 낮은 오차를 가진 플로우 벡터를 선택할 수 있도록 한다.
• FusionNet에서 선택된 플로우 필드는 프로세싱된 고품질 프록시 지상 참조로 작용하여 FlowNet의 미세조정에 사용된다.
• 최종적으로 생성된 AugmentedFlowNet은 대규모 레이블이 없는 영상 데이터에서 훈련되어, 수동 레이블링 없이 도메인 적응이 가능하다.
• 이 방법은 다단계 훈련 파이프라인을 사용한다: 먼저, FusionNet은 합성 데이터에서 플로우 품질 평가를 위해 훈련된다; 이후 프록시 지상 참조를 사용해 실사진 이미지에서 FlowNet을 미세조정한다.
• 평가 네트워크는 합성 데이터셋에서 예측 오차와 지상 참조 오차 간의 차이를 최소화하는 손실 함수를 활용한다.
• 이 방법은 교차 도메인 및 도메인 특화 적응 모두를 가능하게 하며, 지상 참조 데이터에 추가적인 미세조정 없이도 성능 향상이 관찰된다.

실험 결과

연구 질문

• RQ1 학습된 옵티컬 플로우 방법의 앙상블이 개별 방법보다 우수한 성능을 보이는 프록시 지상 참조를 생성할 수 있는가?
• RQ2 여러 개의 비지도 플로우 추정기에서 유도된 프록시 지상 참조를 사용해 FlowNet을 효과적으로 미세조정할 수 있는가?
• RQ3 프록시 지상 참조를 사용해 레이블이 없는 실세계 영상에서 훈련하면, KITTI와 같은 실세계 벤치마크에서 옵티컬 플로우 정확도가 향상되는가?
• RQ4 제안된 프록시 지상 참조 방법은 완전히 비지도 학습 또는 합성 데이터 전용 학습 기반과 비교해 도메인 적응 성능에서 어떻게 다른가?
• RQ5 프록시 지상 참조 방법은 도메인 간에 일반화 가능하며, 지상 참조 레이블에 접근할 수 없어도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• FusionNet는 모든 개별 입력 방법보다 뛰어나며, Sintel 벤치마크에서 최종 플로우 오차 1.58을 기록한 프록시 지상 참조를 생성한다.
• 미세조정된 FlowNet(AugmentedFlowNetG-CSS)는 KITTI 2012 벤치마크에서 최종 플로우 오차 2.10을 기록하여 새로운 최신 기술 수준을 수립한다.
• KITTI의 지상 참조 데이터로 추가로 미세조정한 후, AugmentedFlowNet은 KITTI 2015에서 2.17%의 엔드포인트 오차를 기록하며 이전 최신 기술 수준 결과를 초월한다.
• 지상 참조 데이터 없이 FusionNet 프록시만으로 훈련된 AugmentedFlowNet의 일반형 버전 역시 강력한 성능을 보이며, 베이스라인 FlowNet 모델보다 뛰어난 성능을 기록한다.
• FBMS에서의 운동 세그멘테이션 결과, AugmentedFlowNetC를 사용할 경우 F1 스코어가 4.77% 향상되어 실세계 적응의 유용성을 입증한다.
• 스택드된 AugmentedFlowNet는 일부 케이스에서 FusionNet 프록시보다도 뛰어난 성능을 보이며, 특히 실지 지상 참조로 미세조정한 후에 이러한 성능 향상이 두드러지게 나타나, 도메인 특화 적응의 효과성을 입증한다.