[논문 리뷰] Learning Scene Structure Guidance via Cross-Task Knowledge Transfer for Single Depth Super-Resolution

Baoli Sun, Xinchen Ye외 4명|arXiv (Cornell University)|2021. 03. 24.

Advanced Vision and Imaging참고 문헌 49인용 수 9

한 줄 요약

이 논문은 훈련 중에 RGB 이미지로부터 시각적 구조 지도를 학습하는 크로스태스크 지식 정련 프레임워크를 제안한다. 이는 추론 시에 쌍화된 RGB-D 데이터가 필요로 하지 않는 단일 깊이 초해상도(Deep Super-Resolution, DSR)를 가능하게 한다. DSR 네트워크와 보조 깊이 추정 네트워크를 이중 지식 전이와 구조 예측 작업을 통해 공동으로 훈련시킴으로써, 최소한의 추론 오버헤드로 최신 기술 수준(SOTA)의 성능을 달성하며, 정확도와 속도 면에서 기존 방법들을 능가한다.

ABSTRACT

Existing color-guided depth super-resolution (DSR) approaches require paired RGB-D data as training samples where the RGB image is used as structural guidance to recover the degraded depth map due to their geometrical similarity. However, the paired data may be limited or expensive to be collected in actual testing environment. Therefore, we explore for the first time to learn the cross-modality knowledge at training stage, where both RGB and depth modalities are available, but test on the target dataset, where only single depth modality exists. Our key idea is to distill the knowledge of scene structural guidance from RGB modality to the single DSR task without changing its network architecture. Specifically, we construct an auxiliary depth estimation (DE) task that takes an RGB image as input to estimate a depth map, and train both DSR task and DE task collaboratively to boost the performance of DSR. Upon this, a cross-task interaction module is proposed to realize bilateral cross task knowledge transfer. First, we design a cross-task distillation scheme that encourages DSR and DE networks to learn from each other in a teacher-student role-exchanging fashion. Then, we advance a structure prediction (SP) task that provides extra structure regularization to help both DSR and DE networks learn more informative structure representations for depth recovery. Extensive experiments demonstrate that our scheme achieves superior performance in comparison with other DSR methods.

연구 동기 및 목표

• 기존의 색상 가이던스 DSR 방법들이 추론 시에 쌍화된 RGB-D 데이터를 필요로 하는 제한점을 해결하기 위해.
• 훈련 시 RGB와 깊이 모odalities를 모두 사용하더라도, 테스트 시에 단일 깊이 입력만으로도 효과적인 시각적 구조 가이던스를 제공할 수 있도록 하기 위해.
• 보조 깊이 추정 네트워크와의 공동 훈련을 통해 RGB에서 깊이로의 크로스모달리티 지식 전이를 활용하여 DSR 성능을 향상시키기 위해.
• 추론 시 고해상도 RGB 처리를 피하여 계산 비용과 추론 시간을 줄이면서도 높은 정확도를 유지하기 위해.

제안 방법

• RGB 이미지에서 깊이 맵을 예측하는 보조 깊이 추정(DE) 작업을 도입하여, 훈련 중 크로스태스크 지식 전이를 가능하게 한다.
• DSR와 DE 네트워크가 역할을 교환하는 방식으로, 상호 지식 전이를 통해 특징 표현을 향상시키는 크로스태스크 정련 기법을 설계한다.
• 깊이 맵 복구를 향상시키기 위한 추가적인 구조적 정규화를 제공하는 구조 예측(SP) 작업을 제안한다.
• DSR와 DE 네트워크의 특징을 동적으로 가중하는 불확실성 유도 주의 병합 모듈을 도입하여, 경계 및 구조적 세부 정보 인식을 향상시킨다.
• 정답 깊이에서의 감독, 출력 및 유사도 공간에서의 정련 손실, 그리고 구조 예측 손실을 포함한 다중태스크 손실을 활용한 공동 훈련 전략을 사용한다.
• 원래의 DSR 네트워크 아키텍처를 유지하여, 아키텍처 수정 없이 단일 깊이 입력에서도 배포가 가능하도록 한다.

Figure 1: Color-guided DSR paradigms. (a) Joint filtering, (b) Multi-scale feature aggregation, (c) Our cross-task interaction mechanism to distill knowledge from RGB image to DSR task without changing its network architecture.

실험 결과

연구 질문

• RQ1 테스트 시에 쌍화된 RGB-D 데이터가 없는 상황에서, RGB에서 깊이로의 크로스태스크 지식 정련이 단일 깊이 초해상도 성능을 향상시킬 수 있는가?
• RQ2 DSR 네트워크와 보조 깊이 추정 네트워크 간의 이중 지식 전이 방식이 저해상도 깊이 맵의 구조적 세부 정보 복구에 어떻게 기여하는가?
• RQ3 구조 예측 작업을 추가함으로써 깊이 초해상도의 정확도와 강인성이 얼마나 향상되는가?
• RQ4 제안된 방법이 고해상도 RGB 처리 없이도 낮은 추론 비용으로 높은 성능을 달성할 수 있는가?

주요 결과

• NYUv2 데이터셋에서 ×8 초해상도 시에 RMSE가 2.73으로, 다음으로 좋은 방법인 DKN의 3.26보다 낮아 가장 낮은 오차를 기록했다.
• ToFMark 데이터셋에서 Devil 시퀀스에서 MAD가 9.33을 기록하여, DSRN(9.54)과 DGDIE(9.66)를 모두 능가했다.
• 제거 실험 결과, 크로스태스크 정련이 기준 모델 대비 NYUv2에서 8.9% 오차 감소, Middlebury에서 6.5% 오차 감소를 이끌었다.
• 구조 예측 작업을 추가함으로써 크로스태스크 정련 기준 모델 대비 오차가 4.3% 감소하여, 구조적 표현 향상에 효과적임을 입증했다.
• 불확실성 유도 주의 병합 모듈은 시퀀스 평균적으로 MAD를 0.027 감소시켜 경계 세부 정보 인식을 향상시켰다.
• 추론 속도 면에서 뛰어난 성능을 보였으며, 테스트 시 고해상도 RGB 처리가 필요한 색상 가이던스 방법들인 MSG와 DSRN을 능가했다.

Figure 2: Illustration of our proposed framework, which consists of DSRNet, DENet, and the middle cross-task interaction module. We supervise the outputs of DSRNet and DENet with the same groundtruth depth map $D_{hr}$ . In testing phase, DSRNet is the final choice to predict HR depth map from only