[論文レビュー] PAD-Net: Multi-Tasks Guided Prediction-and-Distillation Network for Simultaneous Depth Estimation and Scene Parsing

Dan Xu, Wanli Ouyang+2 more|arXiv (Cornell University)|May 11, 2018

Advanced Vision and Imaging参考文献 75被引用数 64

ひとこと要約

PAD-Net は中間的なマルチタスク予測とマルチモーダル蒸留を導入し、RGB画像から深度推定とシーン解析を共同で行い、NYUD-v2で最先端の結果を、Cityscapesで競争力の性能を達成します。

ABSTRACT

Depth estimation and scene parsing are two particularly important tasks in visual scene understanding. In this paper we tackle the problem of simultaneous depth estimation and scene parsing in a joint CNN. The task can be typically treated as a deep multi-task learning problem [42]. Different from previous methods directly optimizing multiple tasks given the input training data, this paper proposes a novel multi-task guided prediction-and-distillation network (PAD-Net), which first predicts a set of intermediate auxiliary tasks ranging from low level to high level, and then the predictions from these intermediate auxiliary tasks are utilized as multi-modal input via our proposed multi-modal distillation modules for the final tasks. During the joint learning, the intermediate tasks not only act as supervision for learning more robust deep representations but also provide rich multi-modal information for improving the final tasks. Extensive experiments are conducted on two challenging datasets (i.e. NYUD-v2 and Cityscapes) for both the depth estimation and scene parsing tasks, demonstrating the effectiveness of the proposed approach.

研究の動機と目的

• 視覚的シーン理解を改善するために、深度推定とシーン解析を共同で行う動機付け。
• 最終タスクへのマルチモーダル入力として中間のマルチタスク予測を提案するフレームワークを提案する。
• 補助予測を深度と意味的デコードへ統合するマルチモーダル蒸留モジュールを導入する。
• 中間 supervision が表現学習と最終タスクの性能を改善することを示す。

提案手法

• RGB入力からマルチスケール特徴を抽出するフロントエンドエンコーダを使用する。
• マルチタスク予測モジュールを介して4つの中間予測（深度、表面法線、輪郭、意味的解析）を生成する。
• 中間予測を3つの蒸留モジュール（A: naive concat; B: message passing; C: attention-guided message passing）で融合する。
• 蒸留されたマルチモーダル情報から最終的な深度とシーン解析マップをデコードする。
• 6つのタスク損失（深度、法線、輪郭、解析、等）を学習された重みで結合したジョイント損失で訓練する。
• 推論はRGB入力だけを使用し、蒸留された情報を最終予測に活用する。

実験結果

リサーチクエスチョン

• RQ1 中間のマルチタスク予測は最終の深度推定およびシーン解析タスクに対して有益なマルチモーダルガイダンスを提供することができるか？
• RQ2 マルチモーダル蒸留戦略は単純な連結や蒸留なしの融合と比べて補助予測の統合を改善するか？
• RQ3 複数の中間タスクを使用することが難しいデータセットでの深度と意味的解析性能へ与える影響は？
• RQ4 PAD-Net は NYUD-v2 と Cityscapes で単一タスクのベースラインや prior joint-learning アプローチとどう比較されるか？

主な発見

• PAD-NetはResNet-50をフロントエンドとして使用し、NYUD-v2で最先端の深度推定とシーン解析を達成する。
• 3つの蒸留モジュール（A: 結合, B: メッセージパッシング, C: 注意に基づくメッセージパッシング）はベースラインより常に結果を改善し、モジュールCが最高の性能を示す。
• 蒸留を介して深度、法線、輪郭、意味論を含む複数の中間予測を組み込むと、最終層での直接的マルチタスク学習よりも大幅な利得が得られる。
• NYUD-v2では、PAD-Net-ResNet50 は rel 0.120, log10 0.055, rms 0.582, そして最終精度/閾値: delta<1.25 0.817, delta<1.25^2 0.954, delta<1.25^3 0.987 深度; シーン解析の mean IoU 0.502, mean Acc 0.623, Pixel Acc 0.752。
• Cityscapesでは PAD-Net-ResNet101 は IoU cla 0.803, iIoU cla 0.588, IoU cat 0.908, iIoU cat 0.785 で、強力な意味解析性能を示している。
• このアプローチは NYUD-v2 の深度推定とシーン解析タスクで共同学習ベースラインやいくつかの最先端手法を上回り、Cityscapes では RGB 入力のみで推論時に競争力のあるシーン解析結果を得つつ深度推定と意味解析の両方で良好な結果を生む。