[논문 리뷰] Channel Attention based Iterative Residual Learning for Depth Map Super-Resolution

Xibin Song, Yuchao Dai외 5명|arXiv (Cornell University)|2020. 06. 02.

Advanced Vision and Imaging참고 문헌 48인용 수 7

한 줄 요약

이 논문은 다양한 깊이 센서에서 발생하는 실제 세계의 열화를 다루기 위해 채널 주의 기반의 반복 잔차 학습 프레임워크를 제안한다. 비선형 다운샘플링과 노이즈, 간격 다운샘플링을 별도로 모델링함으로써, 반복 잔차 학습, 깊은 감독, 채널 주의, 다단계 융합, TGV 기반 정제를 통해 합성 및 실제 세계의 깊이 맵에서 최신 기술 수준의 성능을 달성한다. 특히 간격 다운샘플링과 노이즈 조건에서 도전적인 상황에서도 뛰어난 성능을 보인다.

ABSTRACT

Despite the remarkable progresses made in deep-learning based depth map super-resolution (DSR), how to tackle real-world degradation in low-resolution (LR) depth maps remains a major challenge. Existing DSR model is generally trained and tested on synthetic dataset, which is very different from what would get from a real depth sensor. In this paper, we argue that DSR models trained under this setting are restrictive and not effective in dealing with real-world DSR tasks. We make two contributions in tackling real-world degradation of different depth sensors. First, we propose to classify the generation of LR depth maps into two types: non-linear downsampling with noise and interval downsampling, for which DSR models are learned correspondingly. Second, we propose a new framework for real-world DSR, which consists of four modules : 1) An iterative residual learning module with deep supervision to learn effective high-frequency components of depth maps in a coarse-to-fine manner; 2) A channel attention strategy to enhance channels with abundant high-frequency components; 3) A multi-stage fusion module to effectively re-exploit the results in the coarse-to-fine process; and 4) A depth refinement module to improve the depth map by TGV regularization and input loss. Extensive experiments on benchmarking datasets demonstrate the superiority of our method over current state-of-the-art DSR methods.

연구 동기 및 목표

• 합성 데이터로 훈련된 기존 DSR 방법들이 실제 세계의 깊이 센서 열화 패턴에 대해 실패하는 데 기인한 격차를 보완하기 위해.
• 두 가지 구분되는 실제 세계의 깊이 맵 열화 패턴을 모델링하기 위해: 깊이에 따라 달라지는 노이즈가 첨부된 비선형 다운샘플링과 3D 포인트 클라우드에서 유래한 간격 다운샘플링.
• 다양한 깊이 센서와 실제 세계 시나리오에 효과적으로 작동하는 경량이며 일반화 가능한 DSR 프레임워크를 개발하기 위해.
• 초고주파 성분 복구 및 초해상도 깊이 맵의 경계 정확도를 향상시키기 위해.

제안 방법

• LiDAR 유사 깊이 맵를 위한 비선형 다운샘플링과 깊이에 따라 달라지는 노이즈, 간격 다운샘플링을 별도로 모델링하는 이중 단계 열화 모델링 방법을 도입한다.
• 거시적에서 미세한 방식으로 점진적으로 고해상도 깊이 맵를 정교화하는 반복 잔차 학습 모듈을 깊은 감독과 함께 활용한다.
• 고주파 세부 정보가 풍부한 특징 채널을 동적으로 강조하기 위해 채널 주의 메커니즘을 통합한다.
• 다양한 단계에서의 특징을 재결합하여 구조 일관성과 세부 정보 복구를 향상시키기 위해 다단계 융합 모듈을 사용한다.
• 전체 일반화된 변동성(TGV) 정규화와 입력 재구성 손실을 활용한 깊이 정제 모듈을 적용하여 날카운 경계를 유지하고 아티팩트를 줄인다.
• 최종 융합 레이어를 제외한 하위 네트워크 간에 가중치 공유를 도입하여 파라미터를 60% 감소시키면서도 성능를 유지한다.

실험 결과

연구 질문

• RQ1 합성 데이터로 훈련된 DSR 모델이 다릅니다 열화 패턴을 가진 실제 세계 깊이 맵으로 일반화하여 효과적으로 작동할 수 있는가?
• RQ2 LiDAR 센서에서 흔한 간격 다운샘플링은 Bi-cubic 열화와 비교해 구조적 및 주파수 특성에서 어떻게 다를까?
• RQ3 채널 주의와 함께 반복 잔차 학습을 통해 저해상도 깊이 맵에서 초고주파 성분 복구를 향상시킬 수 있는가?
• RQ4 다단계 특징 융합과 TGV 기반 정제가 초해상도 깊이 맵의 구조적 충실도와 경계 정확도를 향상시키는가?
• RQ5 가중치 공유가 정확도를 희생시키지 않으면서 모델의 효율성과 성능에 어떤 영향을 미치는가?

주요 결과

• 실제 LiDAR 데이터에서 간격 다운샘플링된 깊이 맵에서 가장 낮은 RMSE를 기록하며, 최신 기술 수준의 방법들보다 뚜렷한 성능 우위를 보였다.
• 깊이에 따라 달라지는 노이즈가 첨부된 Bi-cubic 열화된 깊이 맵에서 최고의 RMSE를 기록하여 강력한 노이즈 내성 성능을 입증했다.
• 정성적 결과에서 SOTA 기준선 대비 더 날카우며 정확한 경계, 특히 복잡한 텍스처와 날카로운 모서리에서 뛰어난 성능을 보였다.
• SUN RGB-D, Apolloscape, ICL, Laserscan 등 다양한 데이터셋에서 피팅 조정 없이도 잘 일반화되어 강력한 도메인 일반화 능력을 입증했다.
• 가중치 공유 버전은 파라미터를 60% 감소시켰지만 비가중치 공유 버전과 유사한 성능을 유지하여 효율적이고 구현 가능한 모델임을 입증했다.
• 절단 실험 결과 채널 주의와 다단계 융합이 특징 표현과 재구성 품질을 크게 향상시킨다는 것이 확인되었다.