[논문 리뷰] RigNet: Repetitive Image Guided Network for Depth Completion

Zhiqiang Yan, Kun Wang외 4명|arXiv (Cornell University)|2021. 07. 29.

Advanced Vision and Imaging참고 문헌 63인용 수 5

한 줄 요약

RigNet는 수직으로 스택된 아워글라스 네트워크와 동적 컨볼루션 기반 반복 가이던스 모듈을 통해 이미지 가이던스 및 깊이 구조 복구를 향상시키는 반복적인 이미지 가이던스 네트워크를 제안한다. 점진적으로 특징을 정제하고 적응형 융합 메커니즘을 사용함으로써, 다양한 희소성, 조도 및 날씨 조건 하에서도 KITTI 및 NYUv2 벤치마크에서 최신 기술 수준의 성능을 달성하며 뛰어난 강인성을 확보한다.

ABSTRACT

Depth completion deals with the problem of recovering dense depth maps from sparse ones, where color images are often used to facilitate this task. Recent approaches mainly focus on image guided learning frameworks to predict dense depth. However, blurry guidance in the image and unclear structure in the depth still impede the performance of the image guided frameworks. To tackle these problems, we explore a repetitive design in our image guided network to gradually and sufficiently recover depth values. Specifically, the repetition is embodied in both the image guidance branch and depth generation branch. In the former branch, we design a repetitive hourglass network to extract discriminative image features of complex environments, which can provide powerful contextual instruction for depth prediction. In the latter branch, we introduce a repetitive guidance module based on dynamic convolution, in which an efficient convolution factorization is proposed to simultaneously reduce its complexity and progressively model high-frequency structures. Extensive experiments show that our method achieves superior or competitive results on KITTI benchmark and NYUv2 dataset.

연구 동기 및 목표

• 기존의 이미지 가이던스 기반 깊이 복구 방법에서 발생하는 뿌연 이미지 가이던스와 명확하지 않은 깊이 구조 문제를 해결하기 위해.
• 이미지 가이던스 브랜치에서 다중 척도의 맥락적 이해를 향상시켜 복잡한 환경에서의 특징 표현을 개선하기 위해.
• 반복적인 동적 컨볼루션 기반 메커니즘을 통해 고주파 깊이 구조를 점진적으로 회복하기 위해.
• 정확도를 유지하면서 효율적인 모듈 설계를 통해 동적 컨볼루션에서 GPU 메모리 소비를 줄이기 위해.
• 다단계 특징을 적응형 융합 메커니즘을 통해 융합하여 깊이 예측 성능을 향상시키기 위해.

제안 방법

• RGB 이미지에서 구분력 있는 다중 척도 특징을 추출하기 위해 이미지 가이던스 브랜치에 반복적인 아워글라스 네트워크를 설계하여 맥락적 이해와 가이던스 품질을 향상시킨다.
• 깊이 생성 브랜치에 동적 컨볼루션 기반의 반복 가이던스 모듈을 도입하여 고주파 깊이 구조를 더 정확하게 점진적으로 모델링한다.
• 동적 컨볼루션 모듈의 계산 복잡도와 GPU 메모리 사용량을 줄이기 위해 효율적인 컨볼루션 분해 전략을 제안한다.
• 반복 모듈의 여러 단계에서 유래한 특징을 적응형 융합 메커니즘을 통해 집계하여 더 강인한 깊이 표현을 생성한다.
• 희소 깊이와 RGB 이미지 입력을 사용하여 엔드 투 엔드로 학습하며, 밀도 있는 깊이 예측에 대한 지도를 제공한다.

실험 결과

연구 질문

• RQ1 이미지 가이던스 브랜치와 깊이 생성 브랜치 양쪽에 반복적 설계를 적용하면 깊이 복구 품질이 향상되는가?
• RQ2 반복적인 아워글라스 네트워크에서의 다중 척도 특징 융합은 깊이 예측을 위한 이미지 가이던스 품질을 어떻게 향상시키는가?
• RQ3 반복적인 동적 컨볼루션 모듈은 메모리 소비를 줄이면서도 고주파 깊이 구조를 효과적으로 모델링할 수 있는가?
• RQ4 다단계 특징의 적응형 융합은 단순한 연결 또는 덧셈보다 더 나은 깊이 예측 성능을 내는가?
• RQ5 다양한 깊이 희소성 수준, 조도 및 날씨 조건 하에서 제안된 방법의 강인성은 어떠한가?

주요 결과

• RigNet는 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성하여, 극단적인 희소성(예: 0.025 샘플링 비율)을 포함한 모든 희소성 수준에서 기존 방법을 능가한다.
• NYUv2 데이터셋에서 RigNet는 복잡한 텍스처와 구조를 가진 실내 환경에 대해 경쟁적인 결과를 내며 강력한 일반화 성능을 보여준다.
• 적응형 융합 메커니즘이 단순한 덧셈과 연결보다 RMSE 기준 5.3 mm 향상되어 다단계 특징 융합의 효과성을 입증한다.
• Virtual KITTI에서 다양한 조도 및 날씨 조건 하에서도 RigNet는 GuideNet과 ACMNet에 비해 열등한 성능을 유지하지 않으며, 뛰어난 강인성을 보여준다.
• 효율적인 분해 전략을 통해 동적 컨볼루션 모듈의 GPU 메모리 사용량을 크게 줄여 실용적 구현을 가능하게 한다.