[論文レビュー] Learning Scene Structure Guidance via Cross-Task Knowledge Transfer for Single Depth Super-Resolution

Baoli Sun, Xinchen Ye+4 more|arXiv (Cornell University)|Mar 24, 2021

Advanced Vision and Imaging参考文献 49被引用数 9

ひとこと要約

本論文は、推論時におけるペアRGB-Dデータが不要な状況でも、学習段階でRGB画像からのシーン構造ガイドランスを学習するクロスタスク知識蒸留フレームワークを提案する。DSRネットワークと補助的な深度推定ネットワークを二重知識移行と構造予測タスクを用いて共同学習させることで、最小限の推論オーバーヘッドで最先端の性能を達成し、精度と速度の両面で既存手法を上回る。

ABSTRACT

Existing color-guided depth super-resolution (DSR) approaches require paired RGB-D data as training samples where the RGB image is used as structural guidance to recover the degraded depth map due to their geometrical similarity. However, the paired data may be limited or expensive to be collected in actual testing environment. Therefore, we explore for the first time to learn the cross-modality knowledge at training stage, where both RGB and depth modalities are available, but test on the target dataset, where only single depth modality exists. Our key idea is to distill the knowledge of scene structural guidance from RGB modality to the single DSR task without changing its network architecture. Specifically, we construct an auxiliary depth estimation (DE) task that takes an RGB image as input to estimate a depth map, and train both DSR task and DE task collaboratively to boost the performance of DSR. Upon this, a cross-task interaction module is proposed to realize bilateral cross task knowledge transfer. First, we design a cross-task distillation scheme that encourages DSR and DE networks to learn from each other in a teacher-student role-exchanging fashion. Then, we advance a structure prediction (SP) task that provides extra structure regularization to help both DSR and DE networks learn more informative structure representations for depth recovery. Extensive experiments demonstrate that our scheme achieves superior performance in comparison with other DSR methods.

研究の動機と目的

• 実世界の応用ではしばしば入手不可能なペアRGB-Dデータを推論時に必要とする従来のカラーモードガイド付きDSR手法の制限を解消すること。
• トレーニング段階でRGBと深度の両モodalを用いるが、テスト時に単一深度入力のみで有効なシーン構造ガイドランスを実現すること。
• 補助的な深度推定ネットワークと共同学習することで、RGBから深度へのクロスモダリティ知識移行を活用し、DSR性能を向上させること。
• 推論時に高分解能RGB処理を回避することで、計算コストと推論時間を低減しつつ、高い精度を維持すること。

提案手法

• RGB画像から深度マップを予測する補助的な深度推定（DE）タスクを導入し、トレーニング段階でのクロスタスク知識移行を可能にする。
• DSRとDEネットワークが役割を入れ替えながら相互に教師・生徒として機能する、クロスタスク蒸留スキームを設計し、特徴表現を向上させる。
• 深度マップの回復を強化するための追加的な構造的正則化を提供する構造予測（SP）タスクを提案する。
• DSRとDEネットワークからの特徴を動的に重み付けする不確実性誘導型アテンションファージョンモジュールを採用し、境界や構造的詳細の認識を向上させる。
• 真値深度からの監督、出力空間およびアフィニティ空間からの蒸留損失、構造予測損失を組み合わせたマルチタスク損失を用いた共同学習戦略を採用する。
• 元のDSRネットワークアーキテクチャを維持し、アーキテクチャの変更なしに単一深度入力へのデプロイが可能である。

Figure 1: Color-guided DSR paradigms. (a) Joint filtering, (b) Multi-scale feature aggregation, (c) Our cross-task interaction mechanism to distill knowledge from RGB image to DSR task without changing its network architecture.

実験結果

リサーチクエスチョン

• RQ1 テスト時にペアRGB-Dデータが利用できない状況でも、RGBから深度へのクロスタスク知識蒸留が単一深度スーパーレゾリューションの性能向上に寄与するか？
• RQ2 DSRネットワークと補助的な深度推定ネットワーク間の二重知識移行は、低分解能深度マップにおける構造的詳細回復をどの程度向上させるか？
• RQ3 構造予測タスクを追加することで、深度スーパーレゾリューションのロバスト性と精度はどの程度向上するか？
• RQ4 提案手法は、推論時に高分解能RGB処理を必要としなくても、最小限の推論コストで高い性能を達成できるか？

主な発見

• NYUv2データセットにおける×8スーパーレゾリューションでは、RMSEが2.73と、次に優れた手法（DKN）の3.26を下回り、最低水準を記録した。
• ToFMarkデータセットのDevilシーケンスでは、MADが9.33を記録し、DSRN（9.54）とDGDIE（9.66）を上回った。
• アブレーションスタディの結果、クロスタスク蒸留により、NYUv2では8.9%、Middleburyでは6.5%の誤差低減が確認された。
• 構造予測タスクを追加することで、クロスタスク蒸留ベースラインと比較して4.3%の誤差低減が達成され、構造表現の強化効果が明確に示された。
• 不確実性誘導型アテンションファージョンモジュールにより、全シーケンス平均でMADが0.027低下し、境界詳細の認識が向上した。
• 推論速度が優れており、テスト時に高分解能RGB処理を必要とするMSG や DSRN などのカラーモードガイド付き手法を上回った。

Figure 2: Illustration of our proposed framework, which consists of DSRNet, DENet, and the middle cross-task interaction module. We supervise the outputs of DSRNet and DENet with the same groundtruth depth map $D_{hr}$ . In testing phase, DSRNet is the final choice to predict HR depth map from only