[논문 리뷰] Open-World Stereo Video Matching with Deep RNN

Yiran Zhong, Hongdong Li외 1명|arXiv (Cornell University)|2018. 08. 12.

Advanced Vision and Imaging참고 문헌 19인용 수 9

한 줄 요약

이 논문은 지도 학습이 필요 없는 환경에서 새로운 환경에 지속적으로 적응할 수 있도록 설계된 딥 리커런트 신경망(RNN)인 OpenStereoNet을 제안한다. 이 모델은 두 개의 컨볼루션-LSTM 블록을 갖춘 RNN으로, 연속적인 스테레오 비디오 시퀀스를 처리하고 시간적 동적 특성을 학습함으로써 KITTI 및 Middlebury 벤치마크에서 최신 기술 수준의 정확도를 달성한다. 이미지 왜곡 오차를 실시간으로 최소화함으로써, 지도 학습 없이도 지속적인 환경 적응이 가능하다.

ABSTRACT

Deep Learning based stereo matching methods have shown great successes and achieved top scores across different benchmarks. However, like most data-driven methods, existing deep stereo matching networks suffer from some well-known drawbacks such as requiring large amount of labeled training data, and that their performances are fundamentally limited by the generalization ability. In this paper, we propose a novel Recurrent Neural Network (RNN) that takes a continuous (possibly previously unseen) stereo video as input, and directly predicts a depth-map at each frame without a pre-training process, and without the need of ground-truth depth-maps as supervision. Thanks to the recurrent nature (provided by two convolutional-LSTM blocks), our network is able to memorize and learn from its past experiences, and modify its inner parameters (network weights) to adapt to previously unseen or unfamiliar environments. This suggests a remarkable generalization ability of the net, making it applicable in an {\em open world} setting. Our method works robustly with changes in scene content, image statistics, and lighting and season conditions {\em etc}. By extensive experiments, we demonstrate that the proposed method seamlessly adapts between different scenarios. Equally important, in terms of the stereo matching accuracy, it outperforms state-of-the-art deep stereo approaches on standard benchmark datasets such as KITTI and Middlebury stereo.

연구 동기 및 목표

• 실제 오픈 월드 환경에서 새로운 환경이 존재할 경우 지도 학습 기반 딥 스테레오 매칭 방법의 한계를 해결한다.
• 지상 진술(disparity) 레이블을 제거함으로써 대규모 애너테이션 데이터가 필요한 학습 과정을 완화한다.
• 스테레오 비디오 시퀀스의 시간적 일관성을 활용하여 다양한 조명, 날씨 및 시점 콘텐츠 변화에 대한 강건성과 일반화 능력을 향상시킨다.
• 리커런트 학습을 통해 추론 중에 네트워크 가중치를 지속적으로 갱신함으로써, 동적인 환경에서의 수명 주기 학습을 모방한다.
• 사전 훈련 또는 타겟 데이터셋에 대한 미세조정 없이도 표준 스테레오 벤치마크에서 최신 기술 수준의 성능을 입증한다.

제안 방법

• 연속적인 스테레오 비디오 시퀀스를 프레임 단위로 처리하는 딥 RNN 기반 스테레오 매칭 네트워크인 OpenStereoNet을 제안한다.
• 특징 추출을 위한 컨볼루션 퍼셉트 넷(Feature-Net)과 디스parity 예측을 위한 매칭 넷(Match-Net)을 사용하며, 양쪽 모두 두 개의 컨볼루션-LSTM(cLSTM) 블록으로 강화된다.
• 특징 추출 및 매칭의 버티컬 블로킹 지점에 cLSTM 모듈을 적용하여 비디오 프레임 간의 시간적 동적 특성을 인코딩하고 활용한다.
• 지상 진술 레이블이 필요 없이 추론 중에 이미지 도메인 왜곡 오차 최소화를 통해 네트워크 가중치를 업데이트함으로써 실시간 적응을 가능하게 한다.
• 학습과 추론을 통합된 과정으로 간주하여, 네트워크가 실시간으로 이전 프레임의 정보를 기억하고 학습할 수 있도록 한다.
• 엔드 투 엔드 최적화를 적용하여, 왜곡된 왼쪽 및 오른쪽 이미지 간의 광학 일관성에 기반한 자기 지도 학습(self-supervision)을 수행한다.

실험 결과

연구 질문

• RQ1 지상 진술 레이블 없이도 새로운 시점에 대해 스테레오 매칭 네트워크가 효과적으로 일반화할 수 있는가?
• RQ2 RNN 아키텍처 내 리커런트 학습이 스테레오 비디오에서 조명, 날씨 및 시점 콘텐츠 변화에 대해 얼마나 강건성을 향상시킬 수 있는가?
• RQ3 컨볼루션-LSTM 블록의 통합이 프레임 단위 처리에 비해 시간 모델링 능력을 얼마나 향상시키는가?
• RQ4 자기 적응형 네트워크가 사전 훈련 또는 미세조정 없이도 KITTI 및 Middlebury와 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 이와 같은 방법은 합성 및 실제 스테레오 시퀀스에서 기존의 딥 스테레오 모델과 비교해 정확도 및 일반화 능력 측면에서 어떻게 다른가?

주요 결과

• OpenStereoNet은 Middlebury 2005 및 2006 스테레오 벤치마크에서 뛰어난 성능을 보이며, Aloe 데이터셋에서 악성 픽셀 비율이 4.34%로, Dolls 데이터셋에서 6.88%로, DispNet 및 MC-CNN와 같은 모든 베이스라인 방법을 능가한다.
• Freiburg Sceneflow 데이터셋에서 OpenStereoNet은 Monkaa 및 FlyingThings3D 시퀀스에서 매우 정확한 디스파리티 맵을 생성하였으며, 시각적으로 일관된 재구성 이미지와 낮은 왜곡 오차를 기록하였다.
• 기존 방법들이 실패하는 무구조적, 무문자 텍스처 스테레오 이미지인 무작위 점 스테레오(RDS) 이미지에 대해 특히 뛰어난 일반화 능력을 보였으며, 비구조적, 무문자 시점 환경에서도 강건함을 입증하였다.
• 새로운 데이터셋에서의 오픈 월드 테스트에서 OpenStereoNet은 어떤 미세조정 없이도 높은 정확도를 유지하였으며, 강력한 제로샷 일반화 능력을 보였다.
• 제거 실험(ablation study) 결과, cLSTM 블록의 포함이 동적 시점 및 시간적 일관성 문제 처리 능력 향상에 크게 기여하는 것으로 확인되었다.
• KITTI 벤치마크에서 OpenStereoNet은 지상 진술 디스파리티 맵에 접근할 수 없는 상황에서도 기존의 딥 스테레오 방법을 능가하는 최신 기술 수준의 결과를 달성하였다.