[논문 리뷰] Deep RGB-D Canonical Correlation Analysis For Sparse Depth Completion

Yiqi Zhong, Cho-Ying Wu외 2명|arXiv (Cornell University)|2019. 01. 01.

Advanced Vision and Imaging인용 수 10

한 줄 요약

이 논문은 2D 깊이 공선상관분석(2D^2CCA)을 활용하여 RGB 및 깊이 모odal 간에 의미적으로 정렬된 특징을 학습함으로써 희박한 깊이 복원을 향상시키는 엔드 투 엔드 딥 러닝 모델인 CFCNet을 제안한다. 특징 수준에서 다중 모odal 간 상관관계를 모델링함으로써 CFCNet은 변환된 RGB 특징을 사용하여 누락된 깊이 값을 효과적으로 재구성하며, 다양한 희박한 깊이 패턴을 가진 실내 및 실외 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose our Correlation For Completion Network (CFCNet), an end-to-end deep learning model that uses the correlation between two data sources to perform sparse depth completion. CFCNet learns to capture, to the largest extent, the semantically correlated features between RGB and depth information. Through pairs of image pixels and the visible measurements in a sparse depth map, CFCNet facilitates feature-level mutual transformation of different data sources. Such a transformation enables CFCNet to predict features and reconstruct data of missing depth measurements according to their corresponding, transformed RGB features. We extend canonical correlation analysis to a 2D domain and formulate it as one of our training objectives (i.e. 2d deep canonical correlation, or “2D^2CCA loss). Extensive experiments validate the ability and flexibility of our CFCNet compared to the state-of-the-art methods on both indoor and outdoor scenes with different real-life sparse patterns. Codes are available at: https://github.com/choyingw/CFCNet.

연구 동기 및 목표

• 다중 모달 정보를 활용하여 희박한 깊이 측정치로부터 고밀도 깊이 맵을 재구성하는 문제를 해결하기 위해.
• 더 정확한 깊이 예측을 위해 RGB 및 깊이 모달 간 특징 수준의 정렬을 향상시키기 위해.
• 교차 모달 간 상관관계를 2D 특징 공간에서 효과적으로 모델링하는 학습 가능한 엔드 투 엔드 프레임워크를 개발하기 위해.
• 공선상관분석을 깊이 있는 2D 도메인으로 확장하여 깊이 복원에서 더 나은 특징 표현을 얻기 위해.
• 실내 및 실외 환경에서 다양한 실제 희박한 깊이 패턴에 대한 방법의 강인성을 검증하기 위해.

제안 방법

• CFCNet은 RGB 및 희박한 깊이 입력에서 특징을 추출하기 위해 이중 브랜치 인코더를 사용한다.
• 2D 공간 도메인에서 교차 모달 특징 간 상관관계를 극대화하기 위해 2D 딥 코히어런트 코릴레이션 분석(2D^2CCA) 손실을 도입한다.
• 학습된 상관관계 매핑을 통해 RGB 및 깊이 특징 간 특징 수준의 상호 변환을 가능하게 한다.
• 변환된 RGB 특징을 사용하여 누락된 깊이 값을 재구성함으로써 고밀도 깊이 맵을 예측한다.
• 2D^2CCA 손실은 훈련 중에 엔드 투 엔드로 최적화되어 모달 간 의미적으로 대응하는 특징을 정렬한다.
• 프레임워크는 실내 및 실외 환경을 포함한 다양한 희박한 깊이 패턴을 가진 실제 데이터셋에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 2D 딥 코히어런트 코릴레이션 분석이 RGB 및 깊이 간 특징 정렬을 향상시키는 데 효과적인가?
• RQ2 CFCNet은 실내 및 실외 환경에서 다양한 실제 희박한 깊이 패턴으로 일반화되는가?
• RQ3 교차 모달 특징 변환을 학습하는 것이 기존 방법에 비해 더 나은 누락된 깊이 값 재구성 성능을 제공하는가?
• RQ4 2D^2CCA 손실이 의미적으로 관련된 특징을 더 잘 포착할 수 있도록 모델 능력을 향상시키는 데 어느 정도 기여하는가?
• RQ5 2D^2CCA 손실을 사용한 엔드 투 엔드 훈련이 표준 깊이 복원 벤치마크에서 성능 향상에 기여하는가?

주요 결과

• CFCNet은 다양한 희박한 깊이 패턴을 가진 실내 및 실외 깊이 복원 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 2D^2CCA 손실은 RGB 및 깊이 모달 간 특징 상관관계를 크게 향상시켜 재구성 품질을 향상시킨다.
• 모델은 비균일하고 불규칙한 샘플링을 포함한 실제 희박한 깊이 패턴 전반에 걸쳐 강력한 일반화 능력을 보인다.
• RGB 및 깊이 특징 간 특징 수준의 상호 변환은 의미적으로 정렬된 특징을 사용하여 누락된 깊이 값을 정확하게 예측하는 데 기여한다.
• 제거 실험을 통해 2D^2CCA 손실이 기준 방법에 비해 성능 향상에 의미 있는 기여를 한다고 확인된다.
• 프레임워크는 실내 및 실외 환경 모두에서 효과적이며, 시나리오의 복잡성과 깊이의 희박함에 대한 강인성을 보여준다.