[論文レビュー] Exponential Capacity in an Autoencoder Neural Network with a Hidden Layer

Alireza Alemi, Alia Abbara|arXiv (Cornell University)|May 21, 2017

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、固定されたランダムな符号化重み行列と学習可能な復元重みを備えたバイナリオートエンコーダーのニューラルネットワークが、拡張比（隠れユニット数／入力ユニット数）が増加するにつれて指数関数的に増加する記憶容量を理論的に示している。平均場近似とガーデナーのレプリカ法を用いて、スパarsityが変化しても依然として指数関数的に容量が増加することを示しており、レプリカ対称解は局所的に安定であり、シミュレーションとも整合している。

ABSTRACT

A fundamental aspect of limitations in learning any computation in neural architectures is characterizing their optimal capacities. An important, widely-used neural architecture is known as autoencoders where the network reconstructs the input at the output layer via a representation at a hidden layer. Even though capacities of several neural architectures have been addressed using statistical physics methods, the capacity of autoencoder neural networks is not well-explored. Here, we analytically show that an autoencoder network of binary neurons with a hidden layer can achieve a capacity that grows exponentially with network size. The network has fixed random weights encoding a set of dense input patterns into a dense, expanded (or \emph{overcomplete}) hidden layer representation. A set of learnable weights decodes the input patters at the output layer. We perform a mean-field approximation of the model to reduce the model to a perceptron problem with an input-output dependency. Carrying out Gardner's \emph{replica} calculation, we show that as the expansion ratio, defined as the number of hidden units over the number of input units, increases, the autoencoding capacity grows exponentially even when the sparseness or the coding level of the hidden layer representation is changed. The replica-symmetric solution is locally stable and is in good agreement with simulation results obtained using a local learning rule. In addition, the degree of symmetry between the encoding and decoding weights monotonically increases with the expansion ratio.

研究の動機と目的

• 統計物理学的手法を用いて、隠れ層を備えたバイナリオートエンコーダーのニューラルネットワークの記憶容量を特徴づけること。
• ネットワークサイズに応じて容量が指数関数的に増加するかどうか、特に拡張比（隠れユニット数／入力ユニット数）の関数としてのスケーリングを特定すること。
• スパarsityおよび符号化重みと復元重みの対称性が容量に与える影響を調査すること。
• 局所学習則に基づくシミュレーションを用いて理論的予測を検証すること。

提案手法

• 著者らは、入力と出力の依存関係を有する有効なパーセプトロン問題にオートエンコーダーを簡略化するために、平均場近似（MFA）を適用している。
• 熱力学的極限におけるクエンチド自由エネルギーを計算し、臨界容量を導出するためにガーデナーのレプリカ法を用いている。
• 順序パラメータに関連するヘッセ行列の固有値を計算することで、レプリカ対称解の安定性を分析している。
• モデルは、符号化重みが独立同分布のランダム値であり、復元重みは入力を再構成するために学習可能であるという仮定に基づいている。
• パーセプトロン問題におけるしきい値パラメータを調整することで、隠れ表現におけるスパarsityレベルの変化を考慮している。
• 入力ノイズに対するロバストネスは、入力層の1ビットの反転による隠れユニットの期待変化を計算することで、予備的に評価している。

実験結果

リサーチクエスチョン

• RQ1 固定されたランダムなエンコーダーと学習可能なデコーダーを備えたオートエンコーダーの記憶容量は、拡張比に応じて指数関数的に増加するか？
• RQ2 隠れ表現のスパarsityは、格納可能なパターン数の最大値にどのように影響するか？
• RQ3 熱力学的極限において、容量のレプリカ対称解は安定しているか？
• RQ4 符号化重みと復元重みの対称性は、拡張比に伴ってどのように変化するか？
• RQ5 入力ノイズ（例：1ビットの反転）は、ネットワークの再構成性能にどの程度影響を及えるか？

主な発見

• レプリカ計算により、隠れ表現がスパースであっても、オートエンコーダーが拡張比に応じて指数関数的に容量が増加することを示している。
• 臨界容量 αc は、拡張比 N_h / N_v に伴い指数関数的に増加しており、記憶容量の著しい増加を示している。
• 臨界点におけるヘッセ行列の2つの主要固有値の積が負であるため、レプリカ対称解は局所的に安定していることが確認された。
• 符号化重みと復元重みの間の対称性の度合いは、拡張比に伴い単調に増加しており、過剰な完全性に伴い重み共有が向上していることを示唆している。
• 局所学習則に基づくシミュレーションは、理論的予測と良好に一致しており、平均場およびレプリカ近似の妥当性が裏付けられた。
• しきい値パラメータの調整により、入力ノイズに対するロバストネスを達成可能であるが、これは最大容量をわずかに減少させるため、ロバストネスと容量のトレードオフが存在することが示唆された。