[論文レビュー] SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability

Maithra Raghu, Justin Gilmer+2 more|arXiv (Cornell University)|Jun 19, 2017

Neural Networks and Applications被引用数 226

ひとこと要約

SVCCAはSVDとCCAを組み合わせて、アフィン変換に不変なニューラルネットワーク表現を比較し、層とアーキテクチャ全体の学習ダイナミクス、次元性、解釈性を分析可能にする。

ABSTRACT

We propose a new technique, Singular Vector Canonical Correlation Analysis (SVCCA), a tool for quickly comparing two representations in a way that is both invariant to affine transform (allowing comparison between different layers and networks) and fast to compute (allowing more comparisons to be calculated than with previous methods). We deploy this tool to measure the intrinsic dimensionality of layers, showing in some cases needless over-parameterization; to probe learning dynamics throughout training, finding that networks converge to final representations from the bottom up; to show where class-specific information in networks is formed; and to suggest new training regimes that simultaneously save computation and overfit less. Code: https://github.com/google/svcca/

研究の動機と目的

• 層が学習した表現が、そのニューロン数と同じ固有の次元性を持つかどうかを決定する。
• トレーニング中の表現の学習ダイナミクスを調査する（ボトムアップ収束）。
• クラス固有情報がどこで形成され、表現に意味が現れる様子を研究する。
• SVCCAの知見に基づく実用的な訓練および圧縮手法を提案する。

提案手法

• ニューロンをデータセットに対する活性化のベクトルとして表現する；層をこれらのニューロンベクトルによって張られた部分空間として扱う。
• SVCCAを適用する： (1) 各部分空間に対してSVDを実行し、分散の99%を説明する方向を保持する； (2) 縮約された部分空間に対して正準相関分析を適用し、整列した方向と相関を得る。
• SVCCAの類似度を、方向ごとに整列した相関係数の上位値の平均として提供する。
• 畳み込み層に対して同一層比較または異なる層比較のいずれかを用いてSVCCAを拡張する；畳み込みSVCCAを正確かつ効率的にするために、ブロック対角共分散構造を作成する離散フーリエ変換前処理を正当化し実装する。

実験結果

リサーチクエスチョン

• RQ1 学習された層表現の固有の次元性は、ニューロンの数に対してどの程度か？
• RQ2 トレーニング中、表現はどのように変化するか（どの層が最初に収束するか）と、全体の学習ダイナミクスはどうなるか？
• RQ3 ネットワークのどこでクラス固有情報が現れ、クラス間の意味的類似性とどのように関係するか？
• RQ4 パフォーマンスを維持しつつ、SVCCAは訓練と圧縮戦略を指導できるか？

主な発見

• 層はニューロン数よりはるかに少ない情報的方向で機能しており、分散の一部のみを説明する部分空間から良好な性能を得られる。
• 学習ダイナミクスはボトムアップで、低層が高層より先に定着する。これによりFreeze Trainingを動機づける。
• SVCCAの方向は複数のニューロンにまたがり、軸に完全には整列しないことが多く、分散表現を示している。
• 離散フーリエ変換ベースのSVCCAは大規模な畳み込み層にも適用可能で、層間のクラス感度における意味論的関係を明らかにする。
• SVCCAベースの射影は、活性化をトップSVCCA方向に投影することでモデルを圧縮し、いくつかのケースで最小限の性能低下で済む。