[論文レビュー] Paradox in Deep Neural Networks: Similar yet Different while Different yet Similar

Arash Akbarinia, Karl R. Gegenfurtner|arXiv (Cornell University)|Mar 12, 2019

Cell Image Analysis Techniques参考文献 31被引用数 3

ひとこと要約

この論文は、深層ニューラルネットワークにおけるカーネル重み類似度と性能一般化の逆説的関係を調査し、類似したカーネルは歪みに対して著しく異なる性能を示す一方で、類縁のないカーネルは類似した性能を示すことがあることを発見した。主な貢献は、内部的重み類似度が機能的ロバストネスを予測しないことを示したことであり、転移学習やDNNの解釈可能性に関する仮定に挑戦するものである。

ABSTRACT

Machine learning is advancing towards a data-science approach, implying a necessity to a line of investigation to divulge the knowledge learnt by deep neuronal networks. Limiting the comparison among networks merely to a predefined intelligent ability, according to ground truth, does not suffice, it should be associated with innate similarity of these artificial entities. Here, we analysed multiple instances of an identical architecture trained to classify objects in static images (CIFAR and ImageNet data sets). We evaluated the performance of the networks under various distortions and compared it to the intrinsic similarity between their constituent kernels. While we expected a close correspondence between these two measures, we observed a puzzling phenomenon. Pairs of networks whose kernels' weights are over 99.9% correlated can exhibit significantly different performances, yet other pairs with no correlation can reach quite compatible levels of performance. We show implications of this for transfer learning, and argue its importance in our general understanding of what intelligence is, whether natural or artificial.

研究の動機と目的

• 深層ニューラルネットワーク全体において、重みの内在的類似度が機能的性能に相関するかどうかを調査すること。
• 異なる条件下で訓練された同一アーキテクチャのネットワーク間で、歪みに対するロバストネスと重み類似度の相関関係を評価すること。
• 重み類似度が深層ネットワークにおける機能的類似度を予測するという仮定に挑戦すること。
• 転移学習および人工知能と生物的知能の理解への含意を調査すること。

提案手法

• 異なるランダムシードとハイパーパrameterを用いてCIFAR-10およびImageNetで複数のResNet50を訓練した。
• 視覚的知能を測定するために、8種類の画像歪み（例：ノイズ、コントラスト低下）に対して各ネットワークの性能を評価した。
• すべての畳み込み層における重み行列間のピアソン相関係数を計算し、内在的類似度を定量化した。
• 微調整された子ネットワークから親ネットワークへの直接的な重み転送を実施し、性能向上をテストした。
• 微調整後の各層における重み相関を分析し、どの層が最も大きく変化したかを特定した。
• リーマン幾何学にインspiredされた推論を用いて、低レベル特徴表現が層を跨いでどのように進化するかを解釈した。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワーク間の内在的重み類似度が、画像歪み下での機能的ロバストネスをどの程度予測できるか。
• RQ2 重み類似度が高いネットワークが、同じ歪みセットに対して顕著に異なる性能を示す理由は何か。
• RQ3 他の重みがそのままであろうと、わずかな重みサブセットの転送によって性能が著しく向上するか。
• RQ4 中レベル畳み込み層は、複数の低レベル視覚的特徴の統合表現をエンコードしているか。
• RQ5 カーネルの内在的類似度は、深層ネットワークにおける階層的特徴表現とどのように関係しているか。

主な発見

• 99.9％以上の相関を持つカーネル重みを有するネットワークが、画像歪み下で顕著に異なる性能を示し、機能的挙動における強い逆説を示した。
• 逆に、ほぼ相関のないカーネル重みを有するネットワークペアが、すべての歪みタイプで非常に類似した性能を達成したため、重み類似度と機能的類似度の対応関係という仮定に疑問を呈した。
• 微調整された子ネットワークの1つの畳み込み層（res3c_branch2c）の重みのみを親ネットワークに転送することで、親ネットワークの視覚的知能スコアが2％向上し、0.53から0.55に上昇した。
• 同じ層であるres3c_branch2cは、すべての子ネットワークで一貫した相関パターンを示し、コントラストやノイズなどの低レベル視覚的特徴の複合表現をエンコードしていることが示された。
• 子ネットワークのすべての畳み込み層重みを親ネットワークに転送した場合、全結合層がそのままであろうと、性能は子ネットワークと同一になった。
• 層ごとの相関分析から、中レベル層（例：res3c_branch2c）が歪みに対して最も感受性が高く、低レベル視覚的変動を統合するハブとして機能していることが示唆された。