[論文レビュー] Student Becoming the Master: Knowledge Amalgamation for Joint Scene Parsing, Depth Estimation, and More

Jingwen Ye, Yixin Ji+4 more|arXiv (Cornell University)|Apr 23, 2019

Advanced Vision and Imaging参考文献 23被引用数 10

ひとこと要約

本稿では、人間によるアノテーションデータを一切使用せずに、2つの事前に学習済みのタスク特化型教師モデルから知識を抽出することで、シーン解析と深度推定の両方を同時に実行できる軽量で単一の学生モデルを学習する、革新的な知識統合フレームワークを提案する。本手法はブロック単位のトレーニング戦略を採用し、学生の特徴を各教師の特徴空間に投影して損失を計算することで、学生が両教師を上回る性能を発揮しながらも、顕著に小型化されている。

ABSTRACT

In this paper, we investigate a novel deep-model reusing task. Our goal is to train a lightweight and versatile student model, without human-labelled annotations, that amalgamates the knowledge and masters the expertise of two pretrained teacher models working on heterogeneous problems, one on scene parsing and the other on depth estimation. To this end, we propose an innovative training strategy that learns the parameters of the student intertwined with the teachers, achieved by 'projecting' its amalgamated features onto each teacher's domain and computing the loss. We also introduce two options to generalize the proposed training strategy to handle three or more tasks simultaneously. The proposed scheme yields very encouraging results. As demonstrated on several benchmarks, the trained student model achieves results even superior to those of the teachers in their own expertise domains and on par with the state-of-the-art fully supervised models relying on human-labelled annotations.

研究の動機と目的

• 人間によるアノテーションデータにアクセスできない状況下で、異種の事前に学習済み教師モデルから知識を統合する、軽量で多目的な学生モデルを学習する手法を開発すること。
• シーン解析と深度推定といった異なるタスクに特化した教師モデルが存在するクロスドメインの状況における知識蒸留の課題に対処すること。
• 学生が複数の教師と密接に関連したパラメータを学習できるトレーニング戦略を設計し、個々の教師の能力を超える性能を実現すること。
• 表面ノルム推定などの3つ以上の異種タスクへの一般化を図り、オフラインおよびオンラインのマルチ教師戦略を用いること。

提案手法

• 学生の特徴を各教師の特徴空間に投影して損失を計算するブロック単位のトレーニング戦略を導入し、両教師と同時に最適化を可能にする。
• 学生の特徴を「投影」して教師のドメインに適合した特徴を生成し、その特徴を用いて各教師の損失を計算することで、学生が両教師の出力と整合するように学習する。
• 教師モデルが同じアーキテクチャを持つものと仮定することで、異なるタスク間で特徴空間の整合性を確保し、知識の転送を可能にする。
• マルチタスク知識統合のための2つの一般化戦略を提案：オフライン法（事前に知識転送を計算）とオンライン法（トレーニング中に動的に適応）。
• 未ラベル画像を用いてエンドツーエンドで学生を学習し、両教師の特徴空間への特徴投影により損失を計算することで、学生が同時に両ドメインの知識を学習する。
• 本手法は、NYUDv2およびCityscapesデータセットで検証され、教師としてSegNet、DepthNet、NormNetを用い、学生ネットワークは教師のアンサンブルより著しく小さいものとした。

実験結果

リサーチクエスチョン

• RQ1 人間によるアノテーションデータなしに、シーン解析と深度推定という異なるビジョンタスクに特化した2つの事前に学習済み教師モデルを学習する、単一の軽量学生モデルが、効果的に両教師を凌駆することができるか？
• RQ2 異なるタスク目的を持つ異種の教師モデルから得られる知識を、単一の学生モデルに効果的に統合する方法は何か？
• RQ3 異なるドメイン（例：シーン解析と深度推定）間での知識転送は、個々の教師が達成する性能を上回る性能向上をもたらすか？
• RQ4 提案された知識統合戦略は、表面ノルム推定などの3つ以上の異種タスクへ一般化可能か？
• RQ5 教師の監視なしに学習された学生モデルの性能が、それぞれのドメインで教師をどの程度上回るのか？

主な発見

• NYUDv2において、学生モデルはシーン解析タスクでmIOU 0.459を達成し、教師の0.448を上回った。
• 深度推定タスクでは、学生モデルが絶対相対誤差（abs rel）0.243を達成し、教師の0.287を上回った。
• Cityscapesデータセットでは、学生モデルがシーン解析でmIOU 0.535、深度推定で0.510を達成し、それぞれ教師の0.521および0.289を上回った。
• 約2800万パラメータの学生モデルは、人間によるアノテーションデータを用いた最先端の完全教師ありモデルと同等の性能を発揮し、パラメータ数ははるかに少ない。
• シーン解析、深度推定、表面ノルム推定の3タスクに拡張した場合、表面ノルム情報の補完的性質により、特に深度推定の性能が向上した。
• 教師アンサンブルの約半分のサイズである学生モデルが、それぞれのドメインで両教師を上回る性能を発揮した。これは、クロスドメイン知識統合の有効性を示している。