[論文レビュー] Boosting Light-Weight Depth Estimation Via Knowledge Distillation

Junjie Hu, Chenyou Fan+5 more|arXiv (Cornell University)|May 13, 2021

Advanced Vision and Imaging参考文献 47被引用数 9

ひとこと要約

本論文は、類似したシーン分布からの補助ラベルなしデータを用いて知識蒸留（KD）を強化することで、最先端の精度を達成する軽量なモノクローラル深度推定ネットワークを提案する。1.7百万パラメータの非常にコンパクトな学生ネットワークを、ラベル付きデータとラベルなし補助データの両方を用いて、大規模な教師ネットワークを模倣する形で学習させることで、計算効率を極めて保ちながら性能を向上させた。この手法は、先行する軽量モデルを上回り、かつSOTAモデルの1%のパラメータでさえも同等またはそれ以上の精度を達成する。

ABSTRACT

Monocular depth estimation (MDE) methods are often either too computationally expensive or not accurate enough due to the trade-off between model complexity and inference performance. In this paper, we propose a lightweight network that can accurately estimate depth maps using minimal computing resources. We achieve this by designing a compact model architecture that maximally reduces model complexity. To improve the performance of our lightweight network, we adopt knowledge distillation (KD) techniques. We consider a large network as an expert teacher that accurately estimates depth maps on the target domain. The student, which is the lightweight network, is then trained to mimic the teacher's predictions. However, this KD process can be challenging and insufficient due to the large model capacity gap between the teacher and the student. To address this, we propose to use auxiliary unlabeled data to guide KD, enabling the student to better learn from the teacher's predictions. This approach helps fill the gap between the teacher and the student, resulting in improved data-driven learning. Our extensive experiments show that our method achieves comparable performance to state-of-the-art methods while using only 1% of their parameters. Furthermore, our method outperforms previous lightweight methods regarding inference accuracy, computational efficiency, and generalizability.

研究の動機と目的

• モノクローラル深度推定（MDE）における推論精度と計算効率のトレードオフを解消すること。
• モデルの複雑さを最小限に抑えるが、深度推定精度を損なわない高密度なニューラルネットワークアーキテクチャの設計。
• 類似したシーン分布からの補助データを用いて知識蒸留（KD）を強化することで、軽量モデルの性能を向上させること。
• SUNRGBD や TUM のようなクロスデータセットベンチマークにおいて、提案手法の汎化能力を評価すること。

提案手法

• MobileNet-v2 をベースにした軽量な学生ネットワークを設計し、特徴マップの圧縮と連結を用いてパラメータ数を170万に削減。
• 大規模な事前学習済み教師ネットワークが学生ネットワークに監視信号を提供する形で知識蒸留を適用。
• NYU-v2 や ScanNet などの類縁ドメインからのラベルなし補助データを用い、KDの性能を向上させ、データ駆動型学習を強化。
• 学生ネットワークは、元のラベル付きデータと補助のラベルなしデータの両方を用いて学習され、教師の予測結果が蒸留プロセスをガイドする。
• ラベル付き補助データの場合は、教師ネットワークを元のデータセットと補助ラベル付きデータセットの結合後に微調整した後、KDを適用。
• ドメイン間の深さ分布の類似性（例：長尾型の深さヒストグラム）を活用することで、汎化性能と蒸留効率を向上。

実験結果

リサーチクエスチョン

• RQ1 補助ラベルなしデータを用いた知識蒸留は、軽量な深度推定ネットワークの性能を顕著に向上させることができるか？
• RQ2 類縁ドメインからの補助データの使用は、モノクローラル深度推定における学生ネットワークの汎化性能と精度にどのように影響を与えるか？
• RQ3 補助サンプルの数が知識蒸留の性能に与える影響は何か？また、収穫逓減の現象が見られるか？
• RQ4 SOTAモデルのパラメータの1%しか持たない学生ネットワークが、同等またはより高い精度を達成できるか？
• RQ5 SUNRGBD や TUM のような異なるデータセットにおいて、提案手法は微調整なしでどのように汎化するか？

主な発見

• SUNRGBD データセットにおいて、本手法はRMSE 0.577、REL 0.338を達成し、Fast-depth や Joint-depth を両方の指標で上回った。
• ラベルなし補助データを用いることで、TUM データセットにおける平均δ₁精度は0.530に達し、Fast-depth（0.369）や Joint-depth（0.494）を上回った。
• ラベル付き補助データを用いる場合、TUM における平均δ₁精度は0.781に達し、他の手法を著しく上回った。
• 補助サンプルが増えるほど知識蒸留の性能が向上するが、153,000サンプルを超えると収穫逓減の傾向が見られた。
• モデルはデータセット間で良好に汎化し、SUNRGBD では最小のRMSEとREL、TUM では最大のδ₁精度を達成し、強力なロバスト性と転送性を示した。
• 本手法はわずか170万パラメータ（先行SOTAモデルの約1%）で最先端の性能を達成しており、高い推論効率を維持している。