[論文レビュー] Probabilistic Knowledge Transfer for Deep Representation Learning.

Nikolaos Passalis, Anastasios Tefas|arXiv (Cornell University)|Mar 28, 2018

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 9

ひとこと要約

本稿では、教師モデルと同様の相互情報量を保持する学生の表現と未知のラベルの間の相互情報量を保存する確率的知識転送手法を提案する。この手法により、分類タスクを超えた有効な知識転送が可能となり、表現学習の文脈で幅広い応用が可能になる。知識を表現の確率的分布としてモデル化することで、テキストから視覚へのクロスモダリティ転送を含む多様な応用が可能となり、表現学習の文脈で既存手法を上回る性能を発揮する。

ABSTRACT

Knowledge Transfer (KT) techniques tackle the problem of transferring the knowledge from a large and complex neural network into a smaller and faster one. However, existing KT methods are tailored towards classification tasks and they cannot be used efficiently for other representation learning tasks. In this paper a novel knowledge transfer technique, that is capable of training a student model that maintains the same amount of mutual information between the learned representation and a set of (possible unknown) labels as the teacher model, is proposed. Apart from outperforming existing KT techniques, the proposed method allows for overcoming several limitations of existing methods providing new insight into KT as well as novel KT applications, ranging from knowledge transfer from handcrafted feature extractors to {cross-modal} KT from the textual modality into the representation extracted from the visual modality of the data.

研究の動機と目的

• 既存の知識転送手法には主に分類タスクに特化した制限があるため、一般の表現学習タスクでは機能しないという問題に対処すること。
• 教師モデルと同一の相互情報量を維持するように、学生の表現と潜在的ラベルとの間の相互情報量を保つ知識転送技術を開発すること。
• 手作業で作成された特徴抽出器や、テキストから視覚的表現へのモダリティ間転送を可能にする知識転送を実現すること。
• ゼロショット、自己教師あり、対照的表現学習に適用可能な統一された知識転送フレームワークを提供すること。
• 知識転送を確率的情報保存問題として捉え直すことで、現在の手法の欠陥を克服し、新たな知見を提供すること。

提案手法

• 本手法は、知識転送を表現の確率的分布としてモデル化し、学生がその表現と任意の潜在的ラベルとの間の相互情報量を保持することを保証する。
• 知識蒸留を変分推論問題として定式化し、教師と学生の表現分布間のKLダイバージェンスを最適化する。
• 学生ネットワークは、教師の予測不確実性と表現分布を再現するように訓練され、相互情報量最大化の目的関数を用いる。
• このアプローチはモジュラーであり、対照的学習や自己教師あり事前学習を含む多様な表現学習目的と互換性を持つ。
• 出力を確率的分布としてモデル化することで、非ニューラルな手作業特徴（例：SIFT）から深層学生ネットワークへの転送を可能にする。
• 共通の潜在空間を介してテキスト表現と視覚的表現の確率的分布をアライメントすることで、クロスモダリティ転送を実現する。

実験結果

リサーチクエスチョン

• RQ1 知識転送は分類タスクを超えて、他の表現学習目的へ一般化可能か？
• RQ2 知識蒸留の過程で、表現とラベルの間の相互情報量をどのように保てるか？
• RQ3 手作業特徴から深層ニューラルネットワークへの有効な知識転送は可能か？
• RQ4 統一された確率的フレームワークを用いて、テキスト表現から視覚的表現へのクロスモダリティ知識転送は可能か？
• RQ5 自己教師ありおよび対照的学習設定において、現在の知識転送手法の限界は何か？

主な発見

• 提案手法は、自己教師ありおよび対照的学習の設定を含む表現学習ベンチマークで、既存の知識転送手法を上回る性能を発揮する。
• SIFTなどの手作業特徴から深層学生ネットワークへの知識転送が成功し、下流タスクで競争力のある性能を達成する。
• 本手法により、効果的なクロスモダリティ知識転送が可能となり、テキストエンコーダーから視覚的表現モデルへの知識転送が実現される。
• 相互情報量を保持することで、ラベルが訓練中に不明または利用不可であっても、学生モデルが強力な一般化能力を維持できる。
• 確率的定式化により、多様なアーキテクチャや事前学習目的に柔軟に適用可能である。
• 実験的結果から、標準的な蒸留法や他の最先端の知識転送ベースラインと比較して、下流タスクの精度と表現品質が向上することが示された。