[論文レビュー] Knowledge Consistency between Neural Networks and Beyond

Ruofan Liang, Tianlin Li+3 more|arXiv (Cornell University)|Aug 5, 2019

Adversarial Robustness in Machine Learning参考文献 43被引用数 19

ひとこと要約

本稿では、事前学習された深層ニューラルネットワークの中間層間における知識の一貫性を分離・定量化する、タスクに依存しない手法を提案する。一貫性のある特徴量とは、モデル間で再構成可能な特徴量として定義される。この手法により、一貫性のある成分がより信頼性が高く、モデルの改善に活用可能であることが明らかになった。これにより、知識蒸留やネットワーク圧縮といった技術の妥当性が、特徴量の一貫性の測定によって説明可能となり、特徴量の信頼性と知識保持の向上が定量的に得られる。

ABSTRACT

This paper aims to analyze knowledge consistency between pre-trained deep neural networks. We propose a generic definition for knowledge consistency between neural networks at different fuzziness levels. A task-agnostic method is designed to disentangle feature components, which represent the consistent knowledge, from raw intermediate-layer features of each neural network. As a generic tool, our method can be broadly used for different applications. In preliminary experiments, we have used knowledge consistency as a tool to diagnose representations of neural networks. Knowledge consistency provides new insights to explain the success of existing deep-learning techniques, such as knowledge distillation and network compression. More crucially, knowledge consistency can also be used to refine pre-trained networks and boost performance.

研究の動機と目的

• 中間層の表現を一般的な診断ツールとして用いる知識の一貫性を、深層ニューラルネットワーク間で定義すること。
• テスト精度を超えて特徴量の信頼性を診断するための数学的ツールの欠如に応えること。
• タスク固有のアノテーションを必要とせずに、一貫性のある特徴量成分と一貫性のない成分を分離する手法を開発すること。
• 事前学習済みネットワークを、一貫性のある知識成分を用いて精緻化することで性能向上を実現すること。
• 知識蒸留やネットワーク圧縮といった既存の深層学習技術の成功を、知識の一貫性によって説明すること。

提案手法

• 異なる曖昧さのレベルを想定した、2つのDNN間における知識の一貫性の汎用的定義を提案する。一貫性のある特徴量とは、モデル間で再構成可能な特徴量である。
• 中間層の特徴量を一貫性のある成分（共有知識）と一貫性のない成分（ノイズまたはタスク固有のアーチファクト）に分解する分離フレームワークを導入する。
• 再構成過程における非線形変換を用いることで、曖昧さの異なる複数のレベルを近似可能とし、多次元の一貫性分析を可能にする。
• 再構成損失を用いて、あるネットワークの特徴量を別のネットワークの一貫性のある成分に写像するモデル $g_k$ を学習させ、再構成品質によって一貫性を定量化する。
• 特徴量の信頼性の診断、モデルの圧縮、知識蒸留の分析にこの手法を適用し、一貫性のない成分の分散 $Var(x^\Delta)$ を測定する。
• 知識圧縮時の知識損失と、再帰的蒸留時の知識強化を、$Var(x^\Delta)$ を定量的指標として追跡する。

実験結果

リサーチクエスチョン

• RQ1 2つのDNN間の知識の一貫性を、曖昧さの異なる複数のレベルで形式的に定義できるか？
• RQ2 タスクに依存しない方法で、生の中間特徴量から一貫性のある特徴量成分をどれだけ分離できるか？
• RQ3 一貫性のある特徴量が、DNNにおける高品質な表現の信頼性の高い代理指標として機能できるか？
• RQ4 知識の一貫性は、知識蒸留やネットワーク圧縮における性能向上をどのように説明できるか？
• RQ5 一貫性のない特徴量成分と、モデル圧縮や蒸留時の知識損失の関係は何か？

主な発見

• 中間層から分離された一貫性のある特徴量成分は、一貫性のない成分よりも信頼性が高く、タスク予測に優れている。
• この手法は特徴量の信頼性を効果的に診断でき、一貫性のある成分は生の特徴量よりもタスク性能と高い相関を示す。
• 特徴量の一貫性の定量的評価、特に $Var(x^\Delta)$ を用いることで、ネットワーク圧縮時の知識損失と精度低下の強い相関が明らかになった。
• 再帰的知識蒸留において、一貫性のない成分（$Var(x^\Delta)$）が世代を経るごとに徐々に減少し、知識の段階的強化が示された。
• 可視化結果から、細分化分類を目的としたDNNは、二値分類を目的としたものよりもより一貫性のある知識をエンコードしていることが分かった。これは、より豊かな特徴表現を反映している。
• この手法により、追加の教師信号を用いずに、一貫性のある知識成分のみを用いて事前学習済みネットワークを精緻化し、性能向上を実現できるようになった。