[論文レビュー] Shared Representational Geometry Across Neural Networks

Qihong Lu, Po-Hsuan Chen+4 more|arXiv (Cornell University)|Nov 28, 2018

Face Recognition and Perception参考文献 17被引用数 10

ひとこと要約

本稿では、同じデータセット上で学習された異なるニューラルネットワークが、共有された下位の表現空間の直交変換を通じて同等の表現を学習することを提案している。共有応答モデル（SRM）を用いて、アラインメント後のネットワーク間表現類似度行列（RSM）がネットワーク内RSMと密接に一致することを示し、非線形ネットワークが線形ネットワークの直交重み等価性の原則を一般化していることを確認した。

ABSTRACT

Different neural networks trained on the same dataset often learn similar input-output mappings with very different weights. Is there some correspondence between these neural network solutions? For linear networks, it has been shown that different instances of the same network architecture encode the same representational similarity matrix, and their neural activity patterns are connected by orthogonal transformations. However, it is unclear if this holds for non-linear networks. Using a shared response model, we show that different neural networks encode the same input examples as different orthogonal transformations of an underlying shared representation. We test this claim using both standard convolutional neural networks and residual networks on CIFAR10 and CIFAR100.

研究の動機と目的

• 同じデータで学習された異なるニューラルネットワークが、重みの違いにもかかわらず同等の表現を学習するかどうかを調査すること。
• 線形ネットワークにおける理論的直交性の原則が非線形ネットワークへと拡張可能かどうかを検証すること。
• 共有応答モデル（SRM）を用いて、ネットワーク間で共有表現空間を構築可能かどうかを評価すること。
• ネットワーク間およびネットワーク内での表現類似度行列（RSM）を用いて、アラインメントの質を定量化すること。
• 直交変換のみで、異なるネットワークアーキテクチャ間での活性パターンをアラインメントするのに十分かどうかを検討すること。

提案手法

• 共有応答モデル（SRM）を用いて、異なるネットワークの活性パターンを正規直交変換行列を介して共有表現空間にマッピングする。
• SRMは、変換行列に正規直交制約を課した上で、再構成誤差のフロベニウスノルムを最小化する。
• 表現類似度行列（RSM）を計算し、入力ごとの隠れユニットの活性パターン同士の類似度を比較する。
• ネットワーク間RSM（iRSM）とネットワーク内RSM（wRSM）を比較してアラインメントの質を評価し、相関が高いほど成功したアラインメントを示す。
• 同一のRSMがネットワーク間で得られることから、活性パターンが共有表現の直交変換によって関連していることを理論的に証明する。
• 標準的および残差型CNNをCIFAR10およびCIFAR100で学習し、アーキテクチャおよびデータセットの両方で手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 同じデータセットで学習された異なるニューラルネットワークを、直交変換を用いて共有表現空間にアラインメント可能か？
• RQ2 従来線形ネットワークで示された共有表現幾何学の原則が、非線形ディープネットワークへと拡張可能か？
• RQ3 SRMに基づくアラインメント後、表現類似度構造はネットワーク間で保存されるか？
• RQ4 SRMと正規直交変換行列を用いることで、多様なネットワークインスタンス間で元の共有表現を正確に回復できるか？
• RQ5 アラインメント後、ネットワーク間RSMがどの程度ネットワーク内RSMに類似しているか（成功した機能的対応を示すか）？

主な発見

• SRMによるアラインメント後、ネットワーク間RSM（iRSM）は平均的なネットワーク内RSM（wRSM）と高い相関を示し、ネットワーク間での表現アラインメントが成功したことを示している。
• CIFAR10で学習されたネットワーク間で、iRSMとwRSMの相関は平均0.92に達し、強い表現類似度を示している。
• 理論的分析により、ネットワーク間で同一のRSMが得られることから、その活性パターンが共有表現の直交変換によって関連していることが証明された。
• 正規直交変換行列を用いたSRMは、重みや隠れユニット応答が著しく異なるネットワーク間の活性パターンを、成功裏にアラインメントした。
• 結果から、線形ネットワークと同様に、非線形ネットワークも共通の下位表現空間の剛体変換を通じて同じ入出力関数を符号化していることが確認された。
• アーキテクチャにかかわらず一貫したアラインメント性能を示したため、本手法はアーキテクチャの一般化が可能であることが示された。