[論文レビュー] Understanding intermediate layers using linear classifier probes

Guillaume Alain, Yoshua Bengio|arXiv (Cornell University)|Oct 5, 2016

Neural Networks and Applications被引用数 117

ひとこと要約

本論文はニューラルネットワークの各層で特徴の線形分離可能性を測定する線形分類器プローブを提案し、深さとともに単調な改善を示し、ResNet-50とInception v3で診断的な用途を実証する。

ABSTRACT

Neural network models have a reputation for being black boxes. We propose to monitor the features at every layer of a model and measure how suitable they are for classification. We use linear classifiers, which we refer to as "probes", trained entirely independently of the model itself. This helps us better understand the roles and dynamics of the intermediate layers. We demonstrate how this can be used to develop a better intuition about models and to diagnose potential problems. We apply this technique to the popular models Inception v3 and Resnet-50. Among other things, we observe experimentally that the linear separability of features increase monotonically along the depth of the model.

研究の動機と目的

• モデル訓練に影響を与えず、層ごとの線形分離性を評価する訓練可能な線形分類器であるプローブを提案する。
• 中間表現を理解するために、層をまたいだプローブの性能変化を分析する。
• 人気のあるCNNでこの手法を実証し、訓練ダイナミクスや潜在的な問題を診断する。
• より深い層ほど分類のための線形分離性が高くなるという実証的証拠を示す。

提案手法

• 層の特徴 H_k を softmax(Wh_k + b) によってクラス確率へ写像する線形分類器 f_k としてプローブを定義する。
• プローブをモデルのパラメータを固定した状態で独立して訓練する（プローブを通じてのバックプロパゲーションは行わない）。
• L_k^train、L_k^valid、またはエラーレートを評価して、深さとともに分離性がどう変化するかを監視する。
• 高次元特徴の次元削減など、プローブを適合させる際の実用的な問題に対処する。
• プローブ訓練には凸最適化を用いて全局的な最小値を保証する。
• 層間および訓練時間経過にわたるプローブの性能を比較して、は表現の直感を深める。

実験結果

リサーチクエスチョン

• RQ1 中間層の特徴は深さが増すにつれて線形分離性が高まるか。
• RQ2 プローブの測定は訓練ダイナミクスを診断し、最終損失を超えた問題的なモデル挙動を特定できるか。
• RQ3 よく知られたアーキテクチャ（ResNet-50、Inception v3）において、訓練中と収束後にプローブはどのように振る舞うか。
• RQ4 プローブを適合させる際の高次元特徴を管理する実用的な戦略は何か。
• RQ5 プローブによる測定は異なるデータセットやラベル目標に対して頑健か。

主な発見

Layer	Topology	Probe valid error (prediction)
input_1	(224, 224, 3)	0.99
add_1	(28, 28, 256)	0.94
add_2	(28, 28, 256)	0.89
add_3	(28, 28, 256)	0.88
add_4	(28, 28, 256)	0.87
add_5	(28, 28, 512)	0.82
add_6	(28, 28, 512)	0.79
add_7	(28, 28, 512)	0.76
add_8	(14, 14, 1024)	0.77
add_9	(14, 14, 1024)	0.69
add_10	(14, 14, 1024)	0.67
add_11	(14, 14, 1024)	0.62
add_12	(14, 14, 1024)	0.57
add_13	(14, 14, 1024)	0.51
add_14	(7, 7, 2048)	0.41
add_15	(7, 7, 2048)	0.39
add_16	(7, 7, 2048)	0.31

• プローブの誤差はより深い層で単調に減少する傾向があり、特徴の線形分離性の増加を示している。
• より深い特徴は一般にプローブでターゲットクラスをより良く予測し、貪欲で段階的に抽象化された表現を示唆する。
• プローブは最終タスクの性能だけでは現れない、訓練ダイナミクスの欠陥や病的な振る舞いを診断できる。
• ResNet-50では、レイヤーごとの検証予測誤差が深さとともにほぼ単調に低下し、単調な分離性の主張を支持する。
• Inception v3 では、相当量の訓練後、層間の線形分離性のプローブベース予測が滑らかでほぼ単調に層を超えて増加する。
• Projection/特徴量削減戦略は、非常に高次元の層に対してプローブを実用的に適合させるために重要である。