[논문 리뷰] FCFR-Net: Feature Fusion based Coarse-to-Fine Residual Learning for Monocular Depth Completion.

Lina Liu, Xibin Song외 5명|arXiv (Cornell University)|2020. 12. 15.

Advanced Vision and Imaging인용 수 7

한 줄 요약

FCFR-Net는 단안 영상 깊이 보완을 위한 이단계, 종단 간 잔차 학습 프레임워크를 제안한다. 먼저 단순한 CNN을 통해 희박한 깊이와 색상 입력에서 조잡한 밀도 깊이 맵을 생성한 후, 채널 셔플 기반 특징 융합 및 에너지 기반 융합 메커니즘을 사용하여 이를 정밀하게 보완한다. 이 방법은 KITTI 벤치마크에서 최신 기술 수준(SoTA) 성능을 달성하여 기존의 일단계 접근 방식보다 깊이 맵 정확도를 크게 향상시킨다.

ABSTRACT

Depth completion aims to recover a dense depth map from a sparse depth map with the corresponding color image as input. Recent approaches mainly formulate the depth completion as a one-stage end-to-end learning task, which outputs dense depth maps directly. However, the feature extraction and supervision in one-stage frameworks are insufficient, limiting the performance of these approaches. To address this problem, we propose a novel end-to-end residual learning framework, which formulates the depth completion as a two-stage learning task, i.e., a sparse-to-coarse stage and a coarse-to-fine stage. First, a coarse dense depth map is obtained by a simple CNN framework. Then, a refined depth map is further obtained using a residual learning strategy in the coarse-to-fine stage with coarse depth map and color image as input. Specially, in the coarse-to-fine stage, a channel shuffle extraction operation is utilized to extract more representative features from color image and coarse depth map, and an energy based fusion operation is exploited to effectively fuse these features obtained by channel shuffle operation, thus leading to more accurate and refined depth maps. We achieve SoTA performance in RMSE on KITTI benchmark. Extensive experiments on other datasets future demonstrate the superiority of our approach over current state-of-the-art depth completion approaches.

연구 동기 및 목표

• 일단계 깊이 보완 방법의 한계, 즉 부족한 특징 추출 및 감독 문제를 해결하기 위해.
• 희박에서 조잡으로, 그리고 조잡에서 정밀으로의 두 단계로 작업을 분해하여 깊이 맵 정확도를 향상시키기 위해.
• 색상 및 조잡한 깊이 특징에 대해 채널 셔플 연산을 활용하여 특징 표현을 향상시키기 위해.
• 다중 모odal 특징(색상 및 깊이)을 효과적으로 융합하여 더 나은 깊이 예측을 위한 효과적인 융합 메커니즘 개발하기 위해.

제안 방법

• 프레임워크는 먼저 단순한 CNN을 사용하여 희박한 깊이 및 색상 입력에서 조잡한 밀도 깊이 맵을 생성한다.
• 조잡에서 정밀으로 단계에서는 색상 이미지와 조잡한 깊이 맵을 입력으로 사용하여 잔차 학습 전략을 적용하여 조잡한 깊이 맵을 정밀하게 보완한다.
• 색상 이미지와 조잡한 깊이 맵에서 더 표현력 있는 특징을 추출하기 위해 채널 셔플 연산을 적용하여 특징의 다양성과 표현력을 향상시킨다.
• 채널 셔플을 통해 추출된 특징을 효과적으로 융합하기 위해 에너지 기반 융합 연산을 도입하여 융합 효율성과 정확도를 향상시킨다.
• 전체 네트워크는 종단 간으로 훈련되며, 두 단계 모두에 감독이 적용되어 학습 안정성과 성능을 향상시킨다.
• 고성능을 달성하면서도 계산 효율성이 높도록 설계되어 벤치마크 데이터셋에서 높은 정확도를 확보한다.

실험 결과

연구 질문

• RQ1 특징 추출과 감독을 향상시켜 이단계 학습 프레임워크가 일단계 방법보다 단안 영상 깊이 보완에서 더 우수한 성능을 내는가?
• RQ2 채널 셔플 연산이 다중 모달(색상 및 깊이) 특징 학습에서 특징 표현을 어떻게 향상시키는가?
• RQ3 에너지 기반 특징 융합이 정밀화된 깊이 맵의 정확도에 어떤 영향을 미치는가?
• RQ4 조잡에서 정밀으로 단계에서의 잔차 학습이 깊이 보완 성능을 얼마나 향상시키는가?
• RQ5 제안된 이단계 설계가 다양한 깊이 보완 벤치마크에서 잘 일반화되는가?

주요 결과

• FCFR-Net는 KITTI 벤치마크에서 RMSE 기준 최신 기술 수준(SoTA) 성능을 달성하여 기존 방법을 초월한다.
• 이단계 설계는 더 나은 특징 학습과 감독을 가능하게 하여 일단계 접근 방식보다 더 정확한 깊이 맵을 도출한다.
• 채널 셔플 및 에너지 기반 융합의 통합은 특징 표현과 융합 품질을 크게 향상시킨다.
• 조잡에서 정밀으로 보완 단계는 무늬가 없는 영역 및 가림 영역에서 깊이 맵 오차를 효과적으로 줄인다.
• 추가 데이터셋에서 실시한 광범위한 실험을 통해 제안된 방법의 일반화 능력과 우수성을 확인할 수 있었다.