[논문 리뷰] A Novel Monocular Disparity Estimation Network with Domain Transformation and Ambiguity Learning

Juan Luis Gonzalez Bello, Munchurl Kim|arXiv (Cornell University)|2019. 03. 20.

Advanced Vision and Imaging참고 문헌 14인용 수 5

한 줄 요약

이 논문은 전체 해상도 스킵 연결, 직사각형 컨볼루션, 인코더와 디코더 특징 간 도메인 변환 블록, 그리고 모호성 마스크 추정을 통합함으로써 정확도와 효율성을 향상시킨 새로운 비지도 단안 디스패리티 추정 네트워크 rrdispnet_dtm을 제안한다. 이는 KITTI2015에서 최신 기술 수준(SOTA) 성능을 달성하며, 단일 전방 계산(pass)으로 전체 디스패리티 맵을 생성하고 파라미터 수가 적다.

ABSTRACT

Convolutional neural networks (CNN) have shown state-of-the-art results for low-level computer vision problems such as stereo and monocular disparity estimations, but still, have much room to further improve their performance in terms of accuracy, numbers of parameters, etc. Recent works have uncovered the advantages of using an unsupervised scheme to train CNN's to estimate monocular disparity, where only the relatively-easy-to-obtain stereo images are needed for training. We propose a novel encoder-decoder architecture that outperforms previous unsupervised monocular depth estimation networks by (i) taking into account ambiguities, (ii) efficient fusion between encoder and decoder features with rectangular convolutions and (iii) domain transformations between encoder and decoder. Our architecture outperforms the Monodepth baseline in all metrics, even with a considerable reduction of parameters. Furthermore, our architecture is capable of estimating a full disparity map in a single forward pass, whereas the baseline needs two passes. We perform extensive experiments to verify the effectiveness of our method on the KITTI dataset.

연구 동기 및 목표

• 비지도 단안 디스패리티 추정의 한계, 특히 깊이 추정의 모호성과 특징 융합의 비효율성을 해결하기 위해.
• 인코더와 디코더 간 전체 해상도 특징과 도메인 변환을 통합하여 Monodepth 베이스라인 대비 성능을 향상시키기 위해.
• 다중 전방 계산이나 지도 학습이 필요 없이 엔드 투 엔드, 단일 전방 계산으로 디스패리티 맵 예측을 가능하게 하기 위해.
• 모호성 마스크 추정과 향상된 특징 융합을 통해 얇은 구조나 측면 잡음에 대한 내성을 향상시키기 위해.
• 자체 촬영한 스마트폰 카메라 데이터셋을 활용해 실제 환경, KITTI 외 데이터셋으로의 일반화 능력을 입증하기 위해.

제안 방법

• 잔차 블록과 전체 해상도 스킵 연결을 사용한 인코더-디코더 아키텍처를 채택하여 공간적 세부 정보를 유지한다.
• 인코더와 디코더 간 특징 융합을 효율적으로 하기 위해 3x5 직사각형 컨볼루션을 도입하여 공간 정렬을 향상시킨다.
• 특징을 'Left-도메인'에서 'Left-Right-도메인'으로 매핑하기 위해 도메인 변환 블록을 적용하여 더 효과적인 다중 도메인 특징 융합을 가능하게 한다.
• 디스패리티 맵과 함께 모호성 마스크를 예측하여, 음영이나 무늬 없는 영역과 같은 불확실한 영역을 식별한다.
• 다중 구성 요소 손실을 사용해 훈련한다: 광학적 재구성 손실, 디스패리티 매끄러움 손실, 일관성 손실이며, 모두 비지도 방식으로 최적화된다.
• 지식 기반 디스패리티가 없는 스테레오 이미지 쌍을 사용하여, 시각 합성 기반으로 깊이 추정을 지도 없이 학습한다.

실험 결과

연구 질문

• RQ1 인코더와 디코더 특징 간 도메인 변환은 비지도 단안 깊이 학습에서 디스패리티 추정 정확도를 향상시키는가?
• RQ2 모호성 마스크 예측은 음영이나 무늬 없는 영역에서 디스패리티 추정의 내성에 어떤 영향을 미치는가?
• RQ3 단일 전방 계산으로 두 번의 계산이 필요한 모델을 뛰어넘는 성능을 낼 수 있는 완전한 디스패리티 맵을 생성할 수 있는가?
• RQ4 직사각형 컨볼루션과 전체 해상도 특징의 통합은 성능 향상과 함께 네트워크 파라미터 수를 줄이는가?
• RQ5 기존의 비지도 기반 베이스라인 대비 제안된 방법은 실제 환경, 실험실 외 데이터셋에서 얼마나 잘 일반화되는가?

주요 결과

• rrdispnet_dtm 모델은 KITTI2015 벤치마크에서 가장 낮은 RMSE를 기록하며, 모든 지표에서 Monodepth pp 베이스라인을 앞서간다.
• 이 모델은 Monodepth pp와 달리 단일 전방 계산으로 완전한 디스패리티 맵을 생성한다.
• rrdispnet_dtm 모델은 얇은 구조 탐지에서 더 뛰어난 선명도와 정확도를 보이며 측면 잡음이 감소한 편이다.
• 모델은 가장 낮은 warp RMSE를 기록하여 왼쪽 입력에서 유도된 합성 右-뷰의 정밀도가 높음을 확인하며 더 나은 디스패리티 품질을 입증한다.
• 자체 제작한 스마트폰 촬영 데이터셋에서 rrdispnet_dtm은 Monodepth pp보다 더 현실적인 디스패리티 맵을 생성하며 더 잘 보존된 세부 정보와 향상된 원거리 깊이 추정 성능을 보였다.
• 도메인 변환과 직사각형 컨볼루션을 통합한 모델(rrdispnet_dtm)은 Monodepth보다 파라미터 수가 적지만 더 뛰어난 성능을 달성한다.