[논문 리뷰] Discrete Cosine Transform Network for Guided Depth Map Super-Resolution

Zixiang Zhao, Jiangshe Zhang외 3명|arXiv (Cornell University)|2021. 04. 14.

Advanced Vision and Imaging참고 문헌 42인용 수 13

한 줄 요약

이 논문은 이산余弦변환(DCT)을 활용하여 고해상도 깊이 특징의 해석 가능하고 채널 기반 최적화를 가능하게 하는 새로운 딥러닝 프레임워크인 DCTNet을 제안한다. 반구성된 컨볼루션 특징 추출과 가장자리 인식 주의 메커니즘을 통합함으로써 DCTNet은 텍스처 과도 전달을 감소시키고, 더 적은 파rameter로 최신 기술 수준의 성능을 달성하며, ×4, ×8, ×16 확대 요인에서 다양한 벤치마크에서 기존 방법들을 능가한다.

ABSTRACT

Guided depth super-resolution (GDSR) is an essential topic in multi-modal image processing, which reconstructs high-resolution (HR) depth maps from low-resolution ones collected with suboptimal conditions with the help of HR RGB images of the same scene. To solve the challenges in interpreting the working mechanism, extracting cross-modal features and RGB texture over-transferred, we propose a novel Discrete Cosine Transform Network (DCTNet) to alleviate the problems from three aspects. First, the Discrete Cosine Transform (DCT) module reconstructs the multi-channel HR depth features by using DCT to solve the channel-wise optimization problem derived from the image domain. Second, we introduce a semi-coupled feature extraction module that uses shared convolutional kernels to extract common information and private kernels to extract modality-specific information. Third, we employ an edge attention mechanism to highlight the contours informative for guided upsampling. Extensive quantitative and qualitative evaluations demonstrate the effectiveness of our DCTNet, which outperforms previous state-of-the-art methods with a relatively small number of parameters. The code is available at \url{https://github.com/Zhaozixiang1228/GDSR-DCTNet}.

연구 동기 및 목표

• RGB 텍스처 과도 전달, 비효율적인 다중모달 특징 추출, 딥러닝 모델의 낮은 해석 가능성과 같은 가이드된 깊이 초해상도 문제를 해결하기 위해.
• 물리학적으로 영감을 받은 DCT 기반 최적화 모듈을 통합함으로써 딥 네트워크의 해석 가능성을 향상시키기 위해.
• 저해상도 깊이 이미지와 고해상도 RGB 이미지로부터 효과적인 특징 학습을 가능하게 하되, 깊이 불연속성과 모odal 특수 정보를 유지하기 위해.
• 성능을 희생시키지 않은 채 모델 복잡성을 줄여 더 적은 파rameter로 높은 정확도를 달성하기 위해.

제안 방법

• 특징 도메인에서 채널 기반 최적화 문제를 해결하는 이산余弦변환(DCT) 모듈을 도입하여 고해상도 깊이 특징의 해석 가능하고 효율적인 복원을 가능하게 한다.
• 공통 특징을 위해 공유된 컨볼루션 커널과 모달리티 특수 정보를 위해 전용 커널을 사용하는 반구성된 특징 추출(SCFE) 모듈을 적용하여 상관관계와 유일성을 균형 잡는다.
• RGB 특징을 사용해 주의 가중치를 생성하는 가이드된 가장자리 공간 주의(GESA) 메커니즘을 통합하여 깊이 불연속성을 강조함으로써 더 나은 업샘플링 가이던스를 제공한다.
• 딥 아키텍처에서의 훈련 안정성과 특징 학습 향상을 위해 SCFE 모듈에 잔차(skip) 연결을 사용한다.
• 특징 정제 단계에서 표준 컨볼루션 레이어를 대체하기 위해 DCT 기반 모듈을 설계하여 최적화 기반 접근 방식을 딥러닝 프레임워크 내에 통합한다.
• DCT 기반 최적화 프레임워크에서 다중모달 특징과 주의 가중치를 조합하여 더 나은 구조적 정밀도를 갖춘 고해상도 깊이 맵을 생성한다.

실험 결과

연구 질문

• RQ1 DCT 기반 모듈은 가이드된 깊이 초해상도에서 딥러닝 모델의 해석 가능성과 성능을 향상시킬 수 있는가?
• RQ2 RGB와 깊이 이미지에서 공유된 특징과 전용 특징을 효과적으로 추출하고 융합하여 텍스처 과도 전달를 줄일 수 있는가?
• RQ3 가장자리 인식 주의 메커니즘이 초해상도에서 RGB 가장자리와 깊이 불연속성 간의 정렬을 얼마나 향상시키는가?
• RQ4 최적화 기반과 딥러닝의 하이브리드 접근 방식은 더 적은 파rameter로 순수 엔드 투 엔드 딥러닝 모델을 능가할 수 있는가?
• RQ5 반구성 설계는 특징 표현과 성능 측면에서 완전히 공유되거나 독립적인 컨볼루션 필터에 비해 어떻게 비교되는가?

주요 결과

• DCTNet은 여러 데이터셋(NYUv2, KITTI, Middlebury)과 확대 요인(×4, ×8, ×16)에서 최고 또는 2위 성능을 기록하며, 이전 최신 기술 수준의 방법들을 정량적·정성적 평가에서 모두 능가한다.
• NYUv2 데이터셋에서 DCTNet은 ×4 시 RMSE 0.717, ×8 시 1.281, ×16 시 1.852를 기록하여 강력한 일반화 능력과 강인성을 입증한다.
• 세분화되지 않은 상태에서도 RGBDD 데이터셋의 실생활 영역에서 이전 방법보다 낮은 RMSE를 기록하여 일반화 능력이 뛰어남을 확인한다.
• 제거 실험에서는 DCT 모듈을 제거할 경우 파rameter 수가 증가하고 성능이 악화됨을 확인하여, 이 모듈이 특징 정제에서의 효과성을 입증한다.
• 반구성된 특징 추출 모듈은 독립적 또는 완전히 공유된 필터보다 우수한 성능을 보이며, 특징 공유의 균형이 중요함을 시사한다.
• DCT 모듈 내에서 학습 가능한 조정 계수(λ̃)를 사용할 경우 고정된 값보다 성능 향상이 뚜렷하여 적응형 최적화의 가치를 입증한다.