[논문 리뷰] GCNDepth: Self-supervised Monocular Depth Estimation based on Graph Convolutional Network

Armin Masoumian, Hatem A. Rashwan외 3명|arXiv (Cornell University)|2021. 12. 13.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 그래프 컬러리션 네트워크(GCNs)를 활용하여 픽셀 간의 위상적 관계를 모델링함으로써 깊이 맵 정확도를 향상시키는 자기지도 학습 단안 깊이 추정 모델인 GCNDepth를 제안한다. U-Net 유사 디코더에 다중 척도 GCN을 통합하고, 광학적, 재투영, 부드러움 손실을 조합함으로써, KITTI와 Make3D에서 89%의 정확도를 달성하면서 기존 방법 대비 40% 감소한 파rameter를 사용하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Depth estimation is a challenging task of 3D reconstruction to enhance the accuracy sensing of environment awareness. This work brings a new solution with a set of improvements, which increase the quantitative and qualitative understanding of depth maps compared to existing methods. Recently, a convolutional neural network (CNN) has demonstrated its extraordinary ability in estimating depth maps from monocular videos. However, traditional CNN does not support topological structure and they can work only on regular image regions with determined size and weights. On the other hand, graph convolutional networks (GCN) can handle the convolution on non-Euclidean data and it can be applied to irregular image regions within a topological structure. Therefore, in this work in order to preserve object geometric appearances and distributions, we aim at exploiting GCN for a self-supervised depth estimation model. Our model consists of two parallel auto-encoder networks: the first is an auto-encoder that will depend on ResNet-50 and extract the feature from the input image and on multi-scale GCN to estimate the depth map. In turn, the second network will be used to estimate the ego-motion vector (i.e., 3D pose) between two consecutive frames based on ResNet-18. Both the estimated 3D pose and depth map will be used for constructing a target image. A combination of loss functions related to photometric, projection, and smoothness is used to cope with bad depth prediction and preserve the discontinuities of the objects. In particular, our method provided comparable and promising results with a high prediction accuracy of 89% on the publicly KITTI and Make3D datasets along with a reduction of 40% in the number of trainable parameters compared to the state of the art solutions. The source code is publicly available at https://github.com/ArminMasoumian/GCNDepth.git

연구 동기 및 목표

• 기존의 CNN이 가지는 제약을 극복하기 위해 이미지 픽셀 간의 비유클리드적 위상적 관계를 모델링하여 단안 깊이 추정 정확도를 향상시키기.
• 성능 저하 없이 깊이 추정 네트워크의 학습 가능한 파라미터 수를 줄이기.
• 기하학적 인지 기능 학습을 통해 객체 경계와 불연속성을 유지함으로써 깊이 맵 품질을 향상시키기.
• 비용이 많이 드는 진짜 깊이 애너테이션의 필요성을 제거하기 위해 자기지도 학습 프레임워크를 개발하기.
• 저조도 및 도전적인 조명 조건에서도 강력한 깊이 예측을 가능하게 하기.

제안 방법

• 모델은 이중 브랜치 아키텍처를 사용한다: 하나의 브랜치는 다중 척도 GCN을 갖춘 ResNet-50를 사용하여 깊이 추정을 수행하고, 다른 브랜치는 연속 프레임 간의 자가 운동 예측을 위해 ResNet-18을 사용한다.
• GCN은 디코더에 적용되어 학습된 위상적 구조를 기반으로 픽셀 간에 특징을 전파함으로써 장거리 의존성과 기하학적 일致성을 유지한다.
• 다양한 이웃성 수용 영역을 사용하여 다양한 정도의 정밀도에서 공간 상관관계를 모델링하기 위해 디코더 레이어 전반에 걸쳐 다중 척도 GCN 설계를 구현한다.
• 학습 목표는 원본 이미지와 재구성된 이미지 간의 광학적 손실, 음영 처리를 위한 재투영 손실, 에지 유지 및 텍스처 편향 감소를 위한 부드러움 손실을 조합한다.
• 예측된 깊이와 추정된 자세를 사용하여 소스 프레임을 재구성함으로써, 기울기 가능한 이미지 재구성 파이프라인을 사용한다.
• GCN 레이어를 통해 정규 격자 컨볼루션을 넘어서 구조화된 특징 전파가 가능해지며, 백프로파게이션을 사용하여 손실 함수를 엔드 투 엔드로 최적화한다.

실험 결과

연구 질문

• RQ1 그래프 컨볼루션 네트워크는 정규 격자 구조를 초월한 픽셀 간 관계를 모델링하여 깊이 추정 정확도를 향상시킬 수 있는가?
• RQ2 디코더에 통합된 다중 척도 GCN이 특징 표현과 깊이 맵 품질을 어떻게 향상시키는가?
• RQ3 자기지도 학습 기반 GCN 기반 모델은 CNN 기반 최신 기술 수준 모델 대비 성능을 유지하거나 향상시키면서 파라미터 수를 얼마나 줄일 수 있는가?
• RQ4 GCN 기반 특징 학습은 객체 경계를 더 잘 유지하고 저조도 영역을 효과적으로 처리할 수 있는가?
• RQ5 광학적, 재투영, 부드러움 손실의 조합은 재구성 정확도와 깊이 맵 불연속성 유지에 어떤 영향을 미치는가?

주요 결과

• KITTI 데이터셋에서 GCNDepth는 Abs-Rel 기준으로 테스트 오차 0.424를 기록하여 다른 자기지도 학습 방법을 뛰어넘고, 감독 기반 기준선에 근접하였다.
• Make3D 데이터셋에서 GCNDepth는 RMSE 6.757, Sq-Rel 3.075, RMSE-log 0.107을 달성하여 피팅 조정 없이도 강력한 일반화 성능을 보였다.
• 최신 기술 수준의 자기지도 학습 방법 대비 학습 가능한 파라미터 수를 40% 감소시켜 파라미터 효율성 향상을 입증하였다.
• 정성적 결과에서는 GCNDepth가 저조도 및 복잡한 조명 조건 영역에서 객체 경계와 깊이 불연속성을 더 잘 유지하는 것으로 나타났다.
• Monodepth2가 자기지도 학습 방법 중에서 Abs-Rel 기준으로 최고 성능을 기록했음에도 불구하고, Make3D에서 GCNDepth는 Sq-Rel과 RMSE-log에서 Monodepth2를 능가하였다.
• GCN의 사용으로 기둥, 녹지, 건물과 같은 어려운 영역에서 더 나은 깊이 재구성과 더 선명한 깊이 경계를 달성하여 기준 모델 대비 우수한 성능을 보였다.