[論文レビュー] Convolutional Rectifier Networks as Generalized Tensor Decompositions

Nadav Cohen, Amnon Shashua|arXiv (Cornell University)|Mar 1, 2016

Tensor decomposition and applications参考文献 17被引用数 21

ひとこと要約

本稿は、畳み込み型算術回路をReLUとプーリングを備えた畳み込みニューラルネットワーク（ConvNet）に変換する一般化されたテンソル分解フレームワークを提案する。算術回路理論の道具を用いて、最大プーリングReLUネットワークは万能であるが、完全な深さ効率を示さないことが証明されている。一方、積プーリングを用いる算術回路は完全な深さ効率を達成する。これは、効果的に学習可能な場合、畳み込み型算術回路が優れた表現力を持つ可能性を示唆している。

ABSTRACT

Convolutional rectifier networks, i.e. convolutional neural networks with rectified linear activation and max or average pooling, are the cornerstone of modern deep learning. However, despite their wide use and success, our theoretical understanding of the expressive properties that drive these networks is partial at best. On the other hand, we have a much firmer grasp of these issues in the world of arithmetic circuits. Specifically, it is known that convolutional arithmetic circuits possess the property of "complete depth efficiency", meaning that besides a negligible set, all functions that can be implemented by a deep network of polynomial size, require exponential size in order to be implemented (or even approximated) by a shallow network. In this paper we describe a construction based on generalized tensor decompositions, that transforms convolutional arithmetic circuits into convolutional rectifier networks. We then use mathematical tools available from the world of arithmetic circuits to prove new results. First, we show that convolutional rectifier networks are universal with max pooling but not with average pooling. Second, and more importantly, we show that depth efficiency is weaker with convolutional rectifier networks than it is with convolutional arithmetic circuits. This leads us to believe that developing effective methods for training convolutional arithmetic circuits, thereby fulfilling their expressive potential, may give rise to a deep learning architecture that is provably superior to convolutional rectifier networks but has so far been overlooked by practitioners.

研究の動機と目的

• 畳み込み型リLUネットワークと一般化されたテンソル分解の間の理論的関係を確立すること。
• 算術回路理論のツールを用いて、リLUベースのConvNetの表現力と深さ効率を分析すること。
• リLUネットワークの最大/平均プーリングと、積プーリングを用いる畳み込み型算術回路の深さ効率を比較すること。
• これまで軽視されてきた畳み込み型算術回路が、効果的な学習法が開発されれば、理論的に優れた性能を示す可能性を主張すること。

提案手法

• 著者らは、畳み込み型リLUネットワークの階層的構成をモデル化するため、一般化されたテンソル分解を定義する。
• ノイズ摂動とテンソル近似を介して、畳み込み型算術回路（線形活性化、積プーリング）からリLUネットワーク（ReLU活性化、最大/平均プーリング）への写像を構築する。
• 重みと活性化に微小な摂動を導入することで、分解階層内で形成される基本的テンソルをリLUネットワークが近似できることを示す。
• 算術回路複雑性の数学的道具を用いて、変換後のリLUネットワークにおける万能性と深さ効率を分析する。
• 重みを摂動させることで、非負の係数とReLU活性化の単調性を保証し、テンソル構造を維持する。
• 微小なノイズのもとで、結果として得られるネットワークが基本的テンソル分解を計算することを証明し、表現力の理論的分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 畳み込み型リLUネットワークは、一般化されたテンソル分解の観点から形式的に分析可能か？
• RQ2 最大または平均プーリングを用いるリLUネットワークの万能性は、この枠組み下でも完全に保持されるか？
• RQ3 リLUネットワークにおける最大プーリングの深さ効率は、畳み込み型算術回路と比較してどの程度か？
• RQ4 リLUとプーリング演算の使用は、線形活性化に加え積プーリングを用いる場合に比べ、表現力を制限するか？
• RQ5 訓練手法が開発されれば、畳み込み型算術回路の理論的利点を実用的に活用できるか？

主な発見

• 最大プーリングを用いる畳み込み型リLUネットワークは万能であり、コン pact 集合上の任意の連続関数を近似可能である。
• これに対して、平均プーリングを用いるリLUネットワークは万能ではない。幅を増やしてもすべての関数を表現できない。
• 最大プーリングを用いるリLUネットワークにおける深さ効率は不完全である。深さのないネットワークで効率的に実現可能な関数の正の測度を持つ集合が存在する。
• これは、畳み込み型算術回路が完全な深さ効率を示すのと対照的であり、深層ネットワークで表現可能なほとんどすべての関数が浅層ネットワークでは近似できないことを意味する。
• 結果から、畳み込み型算術回路は標準的なリLUベースのConvNetよりも理論的に優れた表現力を持つ可能性がある。
• 本稿は、畳み込み型算術回路の訓練法が開発されれば、現在のリLUベースのアーキテクチャを理論的に上回る深層学習モデルが得られるだろうと結論づける。