[論文レビュー] Expressiveness of Rectifier Networks

Xingyuan Pan, Vivek Srikumar|arXiv (Cornell University)|Nov 18, 2015

Evolutionary Algorithms and Applications参考文献 12被引用数 20

ひとこと要約

この論文は、2層のリLUニューラルネットワーク（ReLU）の表現力について分析し、それらが指数的に大きなしきい値ネットワークと同等の意思決定境界を表現できることを示しているが、その同等性は最悪ケースにおいて指数的サイズを要する。本稿は、しきい値ネットワークをリLUネットワークに対数的圧縮するのに十分な条件を確立し、実験により表現力そのものが学習可能性を保証しないことが判明している。これは非凸最適化の課題に起因する。

ABSTRACT

Rectified Linear Units (ReLUs) have been shown to ameliorate the vanishing gradient problem, allow for efficient backpropagation, and empirically promote sparsity in the learned parameters. They have led to state-of-the-art results in a variety of applications. However, unlike threshold and sigmoid networks, ReLU networks are less explored from the perspective of their expressiveness. This paper studies the expressiveness of ReLU networks. We characterize the decision boundary of two-layer ReLU networks by constructing functionally equivalent threshold networks. We show that while the decision boundary of a two-layer ReLU network can be captured by a threshold network, the latter may require an exponentially larger number of hidden units. We also formulate sufficient conditions for a corresponding logarithmic reduction in the number of hidden units to represent a sign network as a ReLU network. Finally, we experimentally compare threshold networks and their much smaller ReLU counterparts with respect to their ability to learn from synthetically generated data.

研究の動機と目的

• リLUネットワークとしきい値ネットワークの表現力を正式に比較分析すること。しきい値ネットワークはよく研究されているが、この文脈ではあまり理解が進んでいない。
• リLUネットワークが、特に隠れユニット数の観点から、しきい値ネットワークの意思決定境界を効率的に表現できるかどうかを特定すること。
• しきい値ネットワークをはるかに小さいリLUネットワークに圧縮できる十分条件を同定すること。これにより、効率的な表現が可能になる。
• 実験的評価を通じて、リLUネットワークにおける表現力、サンプル複雑度、最適化の難易度の相互作用を調査すること。

提案手法

• 構成的証明を用いて、2層リLUネットワークとしきい値ネットワークの関数的同等性を構築し、同じ意思決定境界を表現するためには、しきい値ネットワークが指数的に多くのユニットを要することが示された。
• 意思決定境界の構造的性質に基づき、しきい値ネットワークを隠れユニット数を対数的に削減してリLUネットワークに圧縮できる十分条件を導出。
• 隠れ層の出力状態（単に出力予測ではない）を考慮する緩和された同等性条件を導入し、多クラス分類における同等性を可能にした。
• 合成データを用いてリLUネットワークとしきい値ネットワークを実験的に比較。両者をリLUおよび圧縮されたtanh（しきい値を模倣）活性化関数で訓練。
• ハイパーパramータの調整のため、早期停止、L2正則化、交差検証を用い、入力次元と隠れユニット数を変化させたテストセットでの性能を評価。
• さまざまなアーキテクチャにおける汎化誤差を評価：リLU（nユニット）、圧縮tanh（nユニット）、および圧縮tanh（2^nユニット）を用い、しきい値ネットワークを模倣。

実験結果

リサーチクエスチョン

• RQ1 2層リLUネットワークの意思決定境界は、しきい値ネットワークで表現可能か？ もし可能であれば、そのしきい値ネットワークのサイズはどの程度か？
• RQ2 しきい値ネットワークが隠れユニット数を対数的に削減してリLUネットワークに圧縮可能である十分条件は何か？
• RQ3 リLUネットワークの表現力が、関数が表現可能であっても、しきい値ネットワークよりも優れた学習可能性を保証するのか？
• RQ4 非凸な訓練目的が、特に圧縮tanhを用いてしきい値挙動を模倣する際、真の概念を回復する能力にどのように影響するか？

主な発見

• 2層リLUネットワークは、しきい値ネットワークと同等の意思決定境界を表現可能であるが、最悪ケースではその後者に指数的数の隠れユニットが必要となる。
• 任意のより小さなしきい値ネットワークでは表現できない2層リLUネットワークが存在し、これは本質的な表現力の優位性を示している。
• しきい値ネットワークを隠れユニット数を対数的に削減してリLUネットワークに圧縮できる十分条件が同定され、より効率的な表現が可能になった。
• 真の概念が表現可能であっても、圧縮tanh（しきい値を模倣）で訓練した場合、同じユニット数では関数を回復できないことが判明。これは、表現力が学習可能性を保証しないことを示している。
• 指数的に多くの圧縮tanhユニット（2^n）を用いることで、一部のデータセットでは性能が向上したが、すべてのデータセットでそうではない。これは、最適化の多様な形状と非凸性が、表現能力があっても学習を妨げることを示唆している。
• すべての設定において訓練誤差とテスト誤差が近いことから、過学習が性能不良の主な要因ではない。むしろ、高次元空間における非凸目的関数の最適化の難易度が主な要因である。