[논문 리뷰] A Learning-based Framework for Hybrid Depth-from-Defocus and Stereo Matching

Zhang Chen, Xinqing Guo외 3명|arXiv (Cornell University)|2017. 08. 02.

Image Processing Techniques and Applications참고 문헌 35인용 수 11

한 줄 요약

이 논문은 이미지 트리플릿(스테레오 쌍과 하나의 왜곡된 이미지)을 사용하여 깊이-왜곡(Defocus, DfD)과 스테레오 매칭을 통합하는 학습 기반 하이브리드 프레임워크를 제안한다. 각각 DfD와 스테레오에서 깊이를 추정하기 위해 아워글라스 네트워크를 활용하고, 여러 연결 전략을 통해 이를 융합함으로써 실제 및 합성 데이터에서 뛰어난 정확도와 강인성을 확보한다. 특히 무문자 영역과 깊이 불연속성 영역 처리에 뛰어난 성능을 발휘한다.

ABSTRACT

Depth from defocus (DfD) and stereo matching are two most studied passive depth sensing schemes. The techniques are essentially complementary: DfD can robustly handle repetitive textures that are problematic for stereo matching whereas stereo matching is insensitive to defocus blurs and can handle large depth range. In this paper, we present a unified learning-based technique to conduct hybrid DfD and stereo matching. Our input is image triplets: a stereo pair and a defocused image of one of the stereo views. We first apply depth-guided light field rendering to construct a comprehensive training dataset for such hybrid sensing setups. Next, we adopt the hourglass network architecture to separately conduct depth inference from DfD and stereo. Finally, we exploit different connection methods between the two separate networks for integrating them into a unified solution to produce high fidelity 3D disparity maps. Comprehensive experiments on real and synthetic data show that our new learning-based hybrid 3D sensing technique can significantly improve accuracy and robustness in 3D reconstruction.

연구 동기 및 목표

• 단독으로 사용할 경우의 깊이-왜곡(DfD)과 스테레오 매칭의 한계를 보완하기 위해 상호보완적인 강점을 융합함으로써 성능 향상을 도모한다.
• DfD 데이터셋의 부족 문제를 해결하기 위해 하이브리드 DfD-스테레오 환경을 위한 포괄적인 합성 학습 데이터셋을 생성한다.
• 공유된 아키텍처를 사용하여 DfD 및 스테레오 신호로부터 깊이를 동시에 추론하는 통합된 딥 러닝 프레임워크를 개발한다.
• 다양한 연결 메커니즘을 통해 별도의 DfD 및 스테레오 네트워크의 예측을 융합하여 3D 재구성의 정밀도를 향상시킨다.
• 실제 및 합성 데이터를 기반으로 실험하여 반복 무늬 텍스처나 깊이 불연속성과 같은 어려운 상황에서도 강인성을 입증한다.

제안 방법

• FlyingThings3D를 사용하여 실시간 음영 인식 라이트필드 렌더링를 통해 스테레오 쌍에서 왜곡된 이미지를 생성함으로써 합성 학습 데이터셋을 구축한다.
• 실제 평가를 위해 Lytro Illum 라이트필드 카메라를 사용하여 실제 이미지 트리플릿(스테레오 쌍과 왜곡된 이미지)을 촬영한다.
• 스테레오 매칭을 위한 깊이 추정을 위한 아워글라스 네트워크와, 왜곡을 통한 깊이 추정을 위한 다른 아워글라스 네트워크를 별도로 구현한다.
• 스택드 아워글라스 아키텍처를 적용하여 다중 해상도, 하향식 및 상향식 특징 학습을 통해 깊이 예측을 정교화한다.
• DfD 및 스테레오 브랜치 간의 예측을 융합하기 위해 연결 전략을 다양하게 탐색: 병합(concatenation), 스킵 연결, 게이팅된 융합(gated fusion).
• 실제 센서의 특성을 반영하기 위해 포isson 노이즈를 포함한 데이터 증강 기법을 사용하여 엔드 투 엔드 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크는 깊이-왜곡과 스테레오 매칭을 효과적으로 융합하여 3D 재구성 정확도를 향상시킬 수 있는가?
• RQ2 DfD 및 스테레오 네트워크 간의 다양한 융합 아키텍처는 최종 디스parity 맵의 품질에 어떤 영향을 미치는가?
• RQ3 무문자 영역이나 깊이 불연속성과 같은 어려운 상황에서 제안된 방법이 단독 스테레오 또는 DfD 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 모의된 왜곡 블러를 포함한 합성 데이터셋은 실제 세계 데이터로의 일반화를 얼마나 효과적으로 가능하게 하는가?
• RQ5 스테레오가 반복 무늬로 인해 실패하는 영역에서 왜곡 블러 정보를 통합함으로써 스테레오 매칭 성능이 실제로 향상되는가?

주요 결과

• 제안된 하이브리드 프레임워크는 단독 스테레오 또는 DfD 방법에 비해 깊이 추정 정확도와 강인성을 크게 향상시키며, 특히 무문자 영역 및 반복 무늬 텍스처 영역에서 뛰어난 성능을 발휘한다.
• DfD 및 스테레오 브랜치 간에 게이팅된 융합을 사용하는 HG-Fusion-Net이 가장 우수한 결과를 도출하며, 날카로운 깊이 경계와 부드러운 깊이 맵을 생성하여 개별 네트워크를 초월한다.
• 실제 환경 실험에서, 단일 스테레오 방법이 과도하게 부드럽게 처리하거나 잘못 예측하는 잎사귀나 얇은 구조물 같은 미세한 구조를 효과적으로 복원한다.
• 훈련 중 포isson 노이즈를 포함시키는 것이 핵심적이다. 깨끗한 데이터로만 훈련된 모델은 실제 데이터에서 심한 노이즈 패tern을 보이며, 현실적인 데이터 시뮬레이션의 중요성을 확인한다.
• 중요한 차폐 및 저텍스처 영역이 많은 어려운 시나리오에서, [43]과의 비교를 통해 실제 데이터에서 뛰어난 성능을 확보한다.
• 라이트필드 렌더링를 통해 생성된 합성 데이터셋은 실제 센서 데이터로의 효과적인 학습 및 일반화를 가능하게 하여, 전체 파이프라인의 타당성과 확장 가능성을 입증한다.