[論文レビュー] Learning Deep Representations with Probabilistic Knowledge Transfer

Nikolaos Passalis, Anastasios Tefas|arXiv (Cornell University)|Mar 28, 2018

Domain Adaptation and Few-Shot Learning参考文献 47被引用数 10

ひとこと要約

本稿では、教師の出力を回帰するのではなく、特徴空間内のデータの確率分布を一致させることで知識を転送する、新しい知識蒸留手法である確率的知識転送（PKT）を提案する。PKTは、手作業で作成された特徴、クロスモodal転送（テキスト→視覚）およびオブジェクト検出器からの知識転送といった多様なタスクにおいて、既存手法を上回り、PASCAL VOC 2007 および VOC 2012 で最先端の結果を達成した。

ABSTRACT

Knowledge Transfer (KT) techniques tackle the problem of transferring the knowledge from a large and complex neural network into a smaller and faster one. However, existing KT methods are tailored towards classification tasks and they cannot be used efficiently for other representation learning tasks. In this paper a novel knowledge transfer technique, that is capable of training a student model that maintains the same amount of mutual information between the learned representation and a set of (possible unknown) labels as the teacher model, is proposed. Apart from outperforming existing KT techniques, the proposed method allows for overcoming several limitations of existing methods providing new insight into KT as well as novel KT applications, ranging from knowledge transfer from handcrafted feature extractors to {cross-modal} KT from the textual modality into the representation extracted from the visual modality of the data.

研究の動機と目的

• 分類タスクに主に特化した既存の知識転送（KT）手法の限界に対処し、表現学習タスクへの一般化が不十分であることを改善すること。
• 現在のKT技術が、特に分類以外の状況において、異なるアーキテクチャや次元のモデル間での知識転送ができないという問題を克服すること。
• ラベル付きデータが限られている状況で、非ラベル付きデータを活用し、大規模なラベル付きデータセットへの依存を減らすために、手作業で作成された特徴抽出器（例：SIFT、HoG）から深層ニューラルネットワークへの有効な知識転送を可能にすること。
• テキスト的特徴から視覚的特徴抽出器への知識転送を促進し、マルチモーダル学習の性能を向上させること。
• ImageNetの事前学習を必要とせずに、強力なオブジェクト検出器（例：YOLOv2）からより小型で軽量な検出器（例：Tiny YOLO）への直接的な知識転送を可能にすること。

提案手法

• 特徴空間におけるデータサンプル間の相互作用を、ガウスカーネルを用いて対応関係を表現する確率分布としてモデル化する。
• 教師と生徒のネットワークの特徴空間における確率分布のKullback-Leibler（KL）ダイバージェンスを最小化することで、知識転送を定式化する。
• 教師の出力ログティットを回帰するのではなく、生徒ネットワークが教師の特徴表現の分布に一致するように訓練する。
• 最終分類層ではなく中間特徴表現に焦点を当てることで、異なるアーキテクチャやモダリティにわたる適用を可能にする。
• 安定性を向上させるために対称的なKLダイバージェンスを用い、教師と生徒の層の次元やネットワーク構造が異なっていても適用可能であることを保証する。
• 特徴空間を確率分布としてモデル化することで、非ディープモデル（例：HoG）からの知識転送を可能にし、その分布を生徒の分布と一致させる。

実験結果

リサーチクエスチョン

• RQ1 既存の知識転送技術は、分類を越えた表現学習タスクにも効果的に適用可能だろうか？
• RQ2 教師の特徴空間の幾何的構造（多様体や局所的類似性など）を直接モデル化・一致させることで、知識転送が向上するだろうか？
• RQ3 SIFT や HoG などの手作業で作成された特徴抽出器から深層ニューラルネットワークへの知識転送は、ラベル付きデータが限られている状況で可能だろうか？
• RQ4 テキスト的特徴から視覚的表現への知識転送は、効果的に可能だろうか？
• RQ5 ImageNetの事前学習を経ずに、強力なオブジェクト検出器（例：YOLOv2）からより小型で軽量な検出器（例：Tiny YOLO）への直接的な知識転送は可能だろうか？

主な発見

• 2×2 HoG特徴から生徒ネットワークへの知識転送において、PKTはPASCAL VOC 2007で26.84%のmAPを達成し、ヒントベース手法（16.40% mAP）を顕著に上回った。
• テキスト的特徴から視覚的特徴へのクロスモーダル知識転送において、PKTはベースラインのヒントベース手法と比較してmAPが80%以上向上した。
• PASCAL VOC 2007におけるオブジェクト検出タスクでは、PKTが44.14%のmAPを達成し、ランダム初期化モデル（18.39% mAP）とImageNet事前学習ベースライン（38.02% mAP）を上回った。
• YOLOv2オブジェクト検出器（29層目）からより小型のTiny YOLOモデル（13層目）への直接的な知識転送が可能となり、ImageNetの事前学習を必要とせずに優れた性能を達成した。
• 手作業特徴からの転送、クロスモーダル転送、オブジェクト検出器間の転送といった多様な設定において、PKTは一貫して既存のKT手法を上回る頑健な性能を示した。
• 確率分布を通じて特徴空間の内面的な幾何構造をモデル化することで、出力ベースの蒸留手法よりも局所的構造と類似性関係をより効果的に保持した。