[論文レビュー] Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks

Noam Razin, Asaf Maman+1 more|arXiv (Cornell University)|Jan 27, 2022

Tensor decomposition and applications被引用数 4

ひとこと要約

この論文は、深層畳み込みニューラルネットワークと同等のモデルである階層的テンソル因子分解における勾配降下法が、低階層的テンソルランクへの暗黙の正則化を誘発することを確立している。これは、関連するネットワークにおける局所性に対応する。理論的分析により、局所的成分におけるモーメンタムに類似したダイナミクスが明らかになり、実験的検証では、局所性を意図的に抑制することで非局所的タスクにおける性能が向上することを示しており、従来のアーキテクチャ設計原理に挑戦する。

ABSTRACT

In the pursuit of explaining implicit regularization in deep learning, prominent focus was given to matrix and tensor factorizations, which correspond to simplified neural networks. It was shown that these models exhibit an implicit tendency towards low matrix and tensor ranks, respectively. Drawing closer to practical deep learning, the current paper theoretically analyzes the implicit regularization in hierarchical tensor factorization, a model equivalent to certain deep convolutional neural networks. Through a dynamical systems lens, we overcome challenges associated with hierarchy, and establish implicit regularization towards low hierarchical tensor rank. This translates to an implicit regularization towards locality for the associated convolutional networks. Inspired by our theory, we design explicit regularization discouraging locality, and demonstrate its ability to improve the performance of modern convolutional networks on non-local tasks, in defiance of conventional wisdom by which architectural changes are needed. Our work highlights the potential of enhancing neural networks via theoretical analysis of their implicit regularization.

研究の動機と目的

• 階層的テンソル因子分解における暗黙の正則化を理論的に分析すること。このモデルは深層畳み込みニューラルネットワークと同等である。
• 表現力の制限を超えて、畳み込みネットワークが長距離依存関係を処理しにくい理由を理解すること。
• 低階層的テンソルランクへの暗黙のバイアスが、学習された表現における局所性を強制することを示すこと。
• この暗黙のバイアスを打ち破るために明示的な正則化を設計・検証し、非局所的タスクにおける性能向上を実現すること。

提案手法

• 動的システムのアプローチを用いて、階層的テンソル因子分解における勾配降下のダイナミクスを分析する。
• 階層構造内の局所的成分を特定し、小さな学習率およびゼロに近い初期化の下でのその進化を特徴付ける。
• 局所的成分にモーメンタムに類似した効果を確立し、低階層的テンソルランクを好む段階的学習を促進する。
• 階層的テンソルランクを畳み込みニューラルネットワークにおける局所性と結びつける。低ランクは短距離依存関係を意味する。
• 階層的因子分解における高ランク成分をペナルティ化することで、局所性を抑制する明示的正則化を提案する。
• 現代の畳み込みネットワークを用いて、このアプローチを実験的に検証し、非局所的タスクにおける性能向上を示す。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法は階層的テンソル因子分解において、どのような暗黙の帰納的バイアスを誘発するか？
• RQ2 階層的テンソルランクは、対応する畳み込みニューラルネットワークにおける局所性とどのように関係するか？
• RQ3 局所性への暗黙のバイアスを明示的に打ち破ることは、非局所的タスクにおける性能向上に寄与できるか？
• RQ4 階層的因子分解における局所的成分のモーメンタムに類似したダイナミクスは、低ランク解を説明できるか？
• RQ5 深く非線形で階層的なモデルにおける暗黙の正則化の理論的メカニズムは何か？

主な発見

• 階層的テンソル因子分解における勾配降下法は、局所的成分におけるモーメンタムに類似したダイナミクスのおかげで、低階層的テンソルランクへの暗黙の正則化を誘発する。
• 低階層的テンソルランクは、入力における短距離（局所的）依存関係のみをモデル化するバイアスに対応し、CNNが長距離タスクで性能を発揮できない理由を説明する。
• 局所性を抑制する明示的正則化を導入することで、現代の畳み込みネットワークの非局所的タスクにおける性能が向上し、従来のアーキテクチャ変更の必要性を覆す。
• 理論的分析により、暗黙のバイアスがノルム最小化に起因するのではなく、成分の大きさのダイナミクスに駆動される段階的学習に起因することが確認された。
• 実験的結果により、局所性を抑制する正則化が、画像生成やセマンティックセグメンテーションなど、長距離推論を要するタスクにおける一般化性能を向上させることを検証した。