[論文レビュー] Analysis and Design of Convolutional Networks via Hierarchical Tensor Decompositions

Nadav Cohen, Or Sharir+4 more|arXiv (Cornell University)|May 5, 2017

Tensor decomposition and applications参考文献 22被引用数 22

ひとこと要約

この論文は畳み込みニューラルネットワークと階層的テンソル分解の間の形式的リンクを確立し、深さ、幅、プーリングの幾何構造、接続性といったアーキテクチャ的選択が表現効率とインダクティブバイアスに直接影響することを示している。主な貢献は、拡張畳み込みネットワークを共有される中間層で接続することで、表現能力に2次的な増加が得られ、独立したネットワークでは超線形的成長を伴わずに到達できない複雑な関数をコンactにモデル化可能であるという理論的枠組みの提示である。

ABSTRACT

The driving force behind convolutional networks - the most successful deep learning architecture to date, is their expressive power. Despite its wide acceptance and vast empirical evidence, formal analyses supporting this belief are scarce. The primary notions for formally reasoning about expressiveness are efficiency and inductive bias. Expressive efficiency refers to the ability of a network architecture to realize functions that require an alternative architecture to be much larger. Inductive bias refers to the prioritization of some functions over others given prior knowledge regarding a task at hand. In this paper we overview a series of works written by the authors, that through an equivalence to hierarchical tensor decompositions, analyze the expressive efficiency and inductive bias of various convolutional network architectural features (depth, width, strides and more). The results presented shed light on the demonstrated effectiveness of convolutional networks, and in addition, provide new tools for network design.

研究の動機と目的

• テンソル分解の数学的ツールを用いて、畳み込みネットワークの表現力について形式的に分析すること。
• 深さ、幅、プーリング、接続性といったアーキテクチャ的要素が表現効率とインダクティブバイアスにどのように影響するかを特定すること。
• 表現能力の形式的分析に基づいて、畳み込みネットワークのための原理的設計ガイドラインを提供すること。
• ネットワーク間の接続性が関数表現に超線形的な増加をもたらし、複雑なタスクをコンactにモデル化可能であることを実証すること。

提案手法

• 層の接続性とテンソル構造を表すモードツリーを用いて、畳み込みネットワークアーキテクチャと階層的テンソル分解の等価性を確立すること。
• 階層的分解における行列化ランクを用いて、異なるネットワーク構成の表現能力を比較すること。
• 別々のネットワークの間で中間層が共有テンソルを通じて情報交換する状況をモデル化するため、混合テンソル分解を導入すること。
• 混合分解が、その構成要素の表現能力を再現するには少なくとも2次的な増加が必要であることを証明し、表現効率を示すこと。
• 深さ、幅、プーリング、重複する畳み込みを分析するために、このフレームワークを適用し、構造的性質とテンソルランクの増加を関連付けること。
• テンソルランクを複雑さの代理として用い、異なるアーキテクチャ的選択下での関数表現に必要なパラメータ数の理論的上限を導出すること。

実験結果

リサーチクエスチョン

• RQ1 深さ、幅、プーリングの幾何構造といったアーキテクチャ的要素は、畳み込みネットワークの表現効率にどのように影響するか？
• RQ2 畳み込みネットワーク間の接続性は、その表現能力をどの程度向上させるか？
• RQ3 階層的テンソル分解は、畳み込みネットワークの分析と設計のための形式的枠組みとして機能できるか？
• RQ4 テンソルランクの増加と同等のネットワークアーキテクチャのサイズ要件との関係は何か？
• RQ5 接続スキームの選択（例：スキップ接続、拡張畳み込み）は、インダクティブバイアスと関数近似にどのように影響するか？

主な発見

• 2つの異なる拡張畳み込みネットワークの中間層を接続することで、単独では到達できない関数を表現できる混合ネットワークが得られ、そのサイズが少なくとも2次的に増加しなければならない。
• 2つの異なる階層的分解の混合テンソル分解は、その混合物の関数を再現するには中間テンソルの数が少なくとも2次的に増加する必要があり、表現効率が証明される。
• 系理8.2は、2つのネットワークの中間層の間で1つの接続を設けるだけで、必要なモデルサイズに2次的なギャップが生じることを示しており、これにより単独ネットワークでは実現不可能な混合ネットワークが実用的であることが示される。
• 実験的評価により、ネットワーク間に接続を追加することで計算コストやモデル容量を増加させずに精度が向上することが確認され、理論的な表現効率の向上が裏付けられる。
• このフレームワークにより、入力相関構造に基づいて層の幅やプーリング幾何構造を設定するための設計ガイドラインが提供される。
• 分析により、深さと幅が低ランクテンソル表現を可能にすることで表現効率に寄与することが明らかになった。また、重複する畳み込みや特定のプーリング幾何構造は、さらに表現力の向上に寄与することが分かった。