[論文レビュー] Neural Networks Trained to Solve Differential Equations Learn General Representations

Martin Magill, Faisal Z. Qureshi+1 more|arXiv (Cornell University)|Jun 29, 2018

Neural Networks and Applications被引用数 27

ひとこと要約

本論文は、連続的にパrameter化された微分方程式タスクの文脈でニューラルネットワーク層の一般性を測定する、新しいSVCCAベースの手法を提案する。その結果、初期層は入力ドメイン全体にわたって一般で共有される表現を学習するが、深層に進むにつれてタスク固有の性質を強めることが判明した。これは、転移学習ベンチマークとの強い整合性と、MNISTデータに対する検証結果とも一致する。

ABSTRACT

We introduce a technique based on the singular vector canonical correlation analysis (SVCCA) for measuring the generality of neural network layers across a continuously-parametrized set of tasks. We illustrate this method by studying generality in neural networks trained to solve parametrized boundary value problems based on the Poisson partial differential equation. We find that the first hidden layers are general, and that they learn generalized coordinates over the input domain. Deeper layers are successively more specific. Next, we validate our method against an existing technique that measures layer generality using transfer learning experiments. We find excellent agreement between the two methods, and note that our method is much faster, particularly for continuously-parametrized problems. Finally, we also apply our method to networks trained on MNIST, and show it is consistent with, and complimentary to, another study of intrinsic dimensionality.

研究の動機と目的

• 連続的にパrameter化されたタスクの文脈で、ニューラルネットワーク層の一般性を迅速かつスケーラブルに測定するための手法を開発すること。
• ポisson PDEに従う境界値問題を解くように訓練されたネットワークにおいて、層ごとの表現学習の進化を調査すること。
• 特に連続的タスク設定において、既存の転移学習ベースの一般性測定法と比較して、提案手法の妥当性を検証すること。
• MNISTのような標準的なビジョンベンチマークでも、同様の一般性のパターンが成立するかを調査し、それらが内因的次元性の結果とどのように関連するかを明らかにすること。

提案手法

• パラメータ化されたPDEタスクの異なるインスタンスで訓練されたニューラルネットワークの層間における特徴表現を比較するために、特異ベクトルの canonical 相関分析（SVCCA）を適用する。
• SVCCAを用いて、ポアソン方程式の異なるパrameter値における層の表現間の類似度を計算し、表現の不変性や一般性を定量化する。
• 転移学習実験から得られた一般性スコアと比較することで、妥当性のベンチマークを確立する。
• PDEを解くネットワークと標準的なMNISTで訓練されたネットワークの両方に対してこの手法を適用し、内因的次元性の研究と整合性や補完性を検証する。
• 複数のタスクにわたって、特定の層と基準層（例：最初の隠れ層）との間のSVCCA類似度を計算することで、層ごとの一般性を分析する。
• ポアソンPDEにおける境界条件の連続的パラメータ化を用いて、滑らかに変化するタスク分布をモデル化し、表現学習の進化を微細に分析可能にする。

実験結果

リサーチクエスチョン

• RQ1 パラメータ化されたポアソン境界値問題の族を解く際、ニューラルネットワークの表現の一般性は、層ごとにどのように変化するか？
• RQ2 SVCCAベースの一般性測定法は、初期層における共有で一般化された表現と、深層におけるタスク固有の表現を信頼性高く検出できるか？
• RQ3 特に連続的タスク族において、提案手法の性能と精度は、転移学習ベースの一般性推定法と比較してどうなるか？
• RQ4 PDEを解くネットワークで観察された一般性のパターンは、MNISTのような標準的なビジョンベンチマークでも同様に現れるか？また、それらは内因的次元性の研究結果とどのように整合するか？

主な発見

• パラメータ化されたポアソンPDEを解くように訓練されたニューラルネットワークの最初の隠れ層は、入力ドメイン全体にわたる一般化された座標を学習し、高い一般性を示す。
• 深層に進むにつれて、段階的に個々のタスクに特化した表現へと変化し、表現学習の階層的組織性が示唆される。
• SVCCAベースの一般性測定法は、転移学習ベースの手法と優れた一致を示し、その信頼性が裏付けられる。
• 特に連続的にパrameter化された問題において、転移学習よりも著しく高速であるため、高次元タスク空間においても適している。
• MNISTに適用した場合、PDEを解くネットワークで観察された一般性のパターンは、内因的次元性の研究結果と整合的であり、補完的な知見を提供する。
• 本手法は、ネットワークの深さに沿って一般表現から特化表現へと明確な遷移を同定でき、階層的特徴学習の仮説を支持する。