[논문 리뷰] Online Adaptation through Meta-Learning for Stereo Depth Estimation

Zhenyu Zhang, Stéphane Lathuilière외 4명|arXiv (Cornell University)|2019. 04. 17.

Advanced Vision and Imaging참고 문헌 45인용 수 13

한 줄 요약

이 논문은 스테레오 깊이 추정에서 빠른 온라인 적응을 위한 새로운 방법인 온라인 메타러닝과 적응(OMLA)을 제안한다. 이는 온라인 특성 분포 정렬과 메타러닝을 결합하여, 변경되는 조명 조건이나 지형 조건과 같은 새로운 환경에 몇 장의 프레임만으로도 깊이 신경망이 신속히 적응할 수 있도록 한다. 이로 인해 KITTI 벤치마크에서 배치 설정으로 훈련된 최신 기술 수준의 모델과 경쟁 가능한 성능을 달성한다.

ABSTRACT

In this work, we tackle the problem of online adaptation for stereo depth estimation, that consists in continuously adapting a deep network to a target video recordedin an environment different from that of the source training set. To address this problem, we propose a novel Online Meta-Learning model with Adaption (OMLA). Our proposal is based on two main contributions. First, to reducethe domain-shift between source and target feature distributions we introduce an online feature alignment procedurederived from Batch Normalization. Second, we devise a meta-learning approach that exploits feature alignment forfaster convergence in an online learning setting. Additionally, we propose a meta-pre-training algorithm in order toobtain initial network weights on the source dataset whichfacilitate adaptation on future data streams. Experimentally, we show that both OMLA and meta-pre-training helpthe model to adapt faster to a new environment. Our proposal is evaluated on the wellestablished KITTI dataset,where we show that our online method is competitive withstate of the art algorithms trained in a batch setting.

연구 동기 및 목표

• 동적인 환경에서의 실세계 구현을 위해 스테레오 깊이 추정에서 온라인 도메인 적응의 과제를 해결한다.
• 소량의 레이블이 있는 데이터로, 원천 훈련 데이터와 예측할 수 없는 타겟 영상 시퀀스 간의 도메인 이동을 극복한다.
• 시퀀스적 적응을 통해 새로운 시각적 도메인에 신속히 수렴할 수 있도록 메타러닝 프레임워크를 개발한다.
• 빠른 적응을 위한 초기 네트워크 가중치 최적화를 목표로 메타-전훈련 전략을 도입하여 모델 일반화 능력을 향상시킨다.
• 온라인 적응이 배치로 훈련된 최신 기술 수준의 모델과 비교해도 경쟁 가능한 성능을 달성할 수 있음을 입증한다.

제안 방법

• 빠른 적응을 위해 배치 정규화 기반 통계를 활용한 온라인 특성 정렬과 기울기 기반 메타최적화를 결합한 메타러닝 프레임워크인 OMLA를 제안한다.
• 타겟 영상 스트림의 누적 통계를 사용해 원천 및 타겟 도메인의 특성 분포를 정렬하는 온라인 특성 정렬 절차를 도입한다.
• 새로운 데이터 스트림에서 신속한 수렴을 유도하기 위해, OMLA 업데이트를 사용해 원천 데이터에서 네트워크를 훈련하는 메타-전훈련 손실을 설계한다.
• 두 단계 훈련 과정을 사용한다: 먼저 원천 데이터셋(Synthia, SceneFlow Driving 등)에서 메타-전훈련을 수행하고, 이후 타겟 영상에서 추론 시 OMLA를 적용한다.
• 영상 데이터의 순차적 성격을 활용해 네트워크 가중치를 점진적으로 업데이트하고, 다양한 환경에 일반화되는 메타학습 최적화 단계를 사용한다.
• 표준 평가 지표(예: Abs Rel, Sq Rel, RMSE)를 사용해 KITTI 데이터셋에서 훈련 및 평가하여 오프라인 기준 모델과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 깊이 스테레오 깊이 모델이 온라인 데이터로 몇 장의 프레임만으로도 새로운 환경에 신속히 적응할 수 있는가?
• RQ2 특성 정렬과 메타러닝을 결합하면 온라인 적응에서 수렴 속도와 최종 정확도가 향상되는가?
• RQ3 OMLA를 사용해 원천 데이터에서 메타-전훈련을 수행하면, 표준 전훈련보다 온라인 적응을 위한 더 나은 초기화를 이끌 수 있는가?
• RQ4 온라인 적응 성능이 실세계 벤치마크에서 배치로 훈련된 모델과 비교해 어떻게 되는가?
• RQ5 제안된 방법이 다양한 네트워크 아키텍처와 원천 데이터셋 간에 일반화되는가?

주요 결과

• OMLA는 특히 영상 시퀀스의 후반 프레임에서 난이도 높은 온라인 학습보다 적응 속도와 최종 성능을 크게 향상시킨다.
• OMLA를 사용한 메타-전훈련은 수렴 속도가 빨라지고, 특히 마지막 20퍼센트의 프레임에서 성능 향상이 두드러져 장기적 적응 능력 향상을 시사한다.
• OMLA의 전체 모델은 KITTI Eigen 테스트 스플릿에서 난이도 높은 온라인 학습과 오프라인 기준 모델을 모두 능가하며, 훈련 중에 실제 KITTI 데이터를 한 번도 보지 않은 채 경쟁 가능한 성능을 달성한다.
• 이 방법은 DispNet 및 MADNet과 같은 경량 모델을 포함한 다양한 아키텍처에서 뛰어난 성능을 보이며, 일반화 능력과 강건성을 입증한다.
• 정성적 결과는 OMLA 예측이 시간이 지남에 따라 점진적으로 향상되며, 몇 장의 프레임만 관찰해도 오프라인 모델 수준의 품질에 도달함을 보여준다.
• 추가 기울기 계산으로 인해 추론 속도가 약 20퍼센트 감소하지만, 성능 향상 덕분에 실세계 구현에 있어 계산 비용을 감당할 수 있다.