[論文レビュー] Interpreting and Disentangling Feature Components of Various Complexity from DNNs

Jie Ren, Mingjie Li+2 more|arXiv (Cornell University)|Jun 29, 2020

Neural Networks and Applications被引用数 8

ひとこと要約

本論文では、各特徴成分を計算するために必要な非線形層の数を複雑さの近似として用いることで、深層ニューラルネットワーク（DNN）におけるさまざまな複雑さ順序の特徴成分を定義・測定・分離する手法を提案する。このアプローチにより、特徴の複雑さ分布とDNN性能の間には明確で定量的な関連が存在することが明らかになり、分離された高信頼性・高効果の特徴成分はモデルの精度を向上させるとともに、ネットワーク圧縮や知識蒸留に関する新たな知見を提供する。

ABSTRACT

This paper aims to define, quantify, and analyze the feature complexity that is learned by a DNN. We propose a generic definition for the feature complexity. Given the feature of a certain layer in the DNN, our method disentangles feature components of different complexity orders from the feature. We further design a set of metrics to evaluate the reliability, the effectiveness, and the significance of over-fitting of these feature components. Furthermore, we successfully discover a close relationship between the feature complexity and the performance of DNNs. As a generic mathematical tool, the feature complexity and the proposed metrics can also be used to analyze the success of network compression and knowledge distillation.

研究の動機と目的

• 理論的なアーキテクチャ的限界を越えて、DNNが学習する実際の特徴の複雑さを定義・測定すること。
• 教師DNNの中間層特徴を模倣するように訓練される、さまざまな深さの分離ネットワークを用いて、中間層特徴を異なる複雑さ順序の成分に分離すること。
• これらの成分の信頼性、有効性、過学習の有意性を分析し、より深い解釈可能性を実現すること。
• 特徴の複雑さ分布とDNN性能との間の定量的関連を確立すること。
• ネットワーク圧縮および知識蒸留への応用を通じて、本手法の一般性を検証すること。

提案手法

• 特徴の複雑さは、特徴成分を計算するために必要な最小の非線形層の数として定義され、ネットワークの深さを用いて近似される。
• さまざまな深さの分離ネットワークを訓練し、教師DNNの中間特徴を模倣させ、各深さが増加する複雑さ順序の成分を捉えるようにする。
• 知識蒸留の原則を用いて、浅い分離ネットワークから始めて、段階的に高複雑さの成分を抽出する。
• 信頼性は、異なるアーキテクチャやハイパーパrameterに対して特徴成分の一貫性を評価することで測定される。
• 有効性は、特徴成分がタスクに与える寄与度を、シャープレー値を用いて損失低減への寄与度として定量化することで測定される。
• 過学習の有意性は、訓練損失低減と検証損失低減への寄与度の差として定量化される。

実験結果

リサーチクエスチョン

• RQ1 DNNにおける実際の特徴の複雑さは、理論的なアーキテクチャ的容量を越えて、どのように形式的に定義・測定できるか？
• RQ2 異なる複雑さ順序にわたる特徴成分の分布はどのようなものか？ また、それはタスクの難易度をどのように反映するか？
• RQ3 特徴成分の信頼性、有効性、過学習の有意性は、複雑さレベルごとにどのように変化するか？
• RQ4 特徴の複雑さ分布とDNN性能との間にはどのような関係があるか？
• RQ5 分離された特徴成分はDNNの精度を向上させることができるか？ また、それらは知識蒸留や圧縮とどのように関連するか？

主な発見

• 複雑さ順序にわたる特徴成分の分布は、タスクの難易度と強く相関しており、単純なタスクでは主に低複雑さの特徴が得られる。
• 分離された高信頼性・高有効性の特徴成分を入力特徴として用いることで、DNNの分類精度が顕著に向上する。
• ネットワーク圧縮は、特徴成分の分布とその信頼性を保持するが、単純な成分における過学習の有意性を増加させる。
• 知識蒸留により、元のDNNと比較して、より有効な低複雑さの特徴成分と、より信頼性が高く過学習が少ない高複雑さの特徴成分が得られる。
• 複雑さ成分の8次元特徴分布を用いた線形回帰モデルは、実際の精度差よりもはるかに小さい誤差でDNN性能を予測した。これにより、複雑さと性能との強い関連が裏付けられた。