[논문 리뷰] On the Synergies between Machine Learning and Stereo: a Survey

Matteo Poggi, Fabio Tosi외 3명|arXiv (Cornell University)|2020. 04. 18.

Advanced Vision and Imaging참고 문헌 101인용 수 12

한 줄 요약

이 종합 검토는 기계 학습과 스테레오 매칭 간의 상호작용을 탐구하며, 딥 러닝이 스테레오 깊이 추정을 어떻게 발전시켰는지와 동시에 자기지도 학습 기반 단안 깊이 추정과 같은 돌파구를 가능하게 했는지를 강조한다. 최근의 학습 기반 방법을 검토하고 핵심 성공 요소를 밝히며, 분야의 열린 과제를 제시한다.

ABSTRACT

Stereo matching is one of the longest-standing problems in computer vision with close to 40 years of studies and research. Throughout the years the paradigm has shifted from local, pixel-level decision to various forms of discrete and continuous optimization to data-driven, learning-based methods. Recently, the rise of machine learning and the rapid proliferation of deep learning enhanced stereo matching with new exciting trends and applications unthinkable until a few years ago. Interestingly, the relationship between these two worlds is two-way. While machine, and especially deep, learning advanced the state-of-the-art in stereo matching, stereo matching enabled new ground-breaking methodologies such as self-supervised monocular depth estimation based on deep neural networks. In this paper, we review recent research in the field of learning-based depth estimation from images highlighting the synergies, the successes achieved so far and the open challenges the community is going to face in the immediate future.

연구 동기 및 목표

• 지난 40년간 기계 학습과 스테레오 매칭 간의 진화하는 관계를 분석하기 위해.
• 딥 러닝이 전통적인 최적화 기반 접근에서 데이터 기반 접근으로 스테레오 매칭을 어떻게 변화시켰는지 밝히기 위해.
• 스테레오 매칭이 반대로 자기지도 학습 기반 단안 깊이 추정과 같은 혁신을 가능하게 했음을 강조하기 위해.
• 학습 기반 깊이 추정의 현재 최상위 수준을 맵핑하고 향후 연구를 위한 열린 과제를 요약하기 위해.

제안 방법

• 이 논문은 이미지 기반의 학습 기반 깊이 추정 분야의 최근 연구를 종합적으로 검토한다.
• 고전적 스테레오 방법에서 현대의 딥 러닝 기반 프레임워크로의 전환을 분석한다.
• 스테레오 매칭 원리를 기반으로 한 자기지도 학습이 단안 깊이 추정에서 어떤 역할을 하는지 분석한다.
• 최신 모델에서 사용된 다양한 아키텍처, 손실 함수, 학습 전략을 평가한다.
• 기하학적 제약 조건과 기울기 가능 렌더링이 학습 기반 스테레오 파이프라인에 어떻게 통합되었는지 논의한다.
• 데이터셋, 벤치마크, 적용 분야 간의 추세를 통합하여 방법론적 상호작용을 식별한다.

실험 결과

연구 질문

• RQ1 딥 러닝은 스테레오 매칭 분야의 최첨단 수준을 어떻게 변화시켰는가?
• RQ2 스테레오 매칭은 자기지도 학습 기반 단안 깊이 추정 분야에서 어떤 방식으로 새로운 발전을 가능하게 했는가?
• RQ3 스테레오 매칭과 기계 학습 간의 핵심 방법론적 상호작용은 무엇인가?
• RQ4 최근의 진전에도 불구하고 학습 기반 깊이 추정 분야에서 지속적으로 남아 있는 과제는 무엇인가?
• RQ5 스테레오 매칭과 기계 학습 간의 상호작용으로부터 향후 어떤 연구 방향이 도출될 것으로 예상되는가?

주요 결과

• 딥 러닝은 정확도와 강인성 측면에서 전통적인 최적화 기반 방법을 뛰어넘는 데 기여했다.
• 스테레오 매칭과 기계 학습 간의 상호작용은 레이블이 부여된 깊이 데이터에 대한 의존도를 줄이는 자기지도 학습 기반 단안 깊이 추정을 가능하게 했다.
• 학습 기반 스테레오 방법은 KITTI 및 Middlebury와 같은 벤치마크 데이터셋에서 최첨단 성능을 달성하고 있다.
• 기하학적 사전 지식과 기울기 가능 렌더링의 통합은 종단 간 학습 프레임워크에서 일반화 능력과 깊이 품질을 향상시켰다.
• 진전에도 불구하고, 예측 불가능한 장면으로의 일반화, 음영 처리, 도메인 이동 감소 문제 등 과제가 남아 있다.
• 이 분야는 스테레오와 학습 원칙을 모두 활용하는 더 효율적이고 확장 가능하며 해석 가능한 모델로 향해 가고 있다.