[論文レビュー] Conservativeness of untied auto-encoders

Daniel Jiwoong Im, Mohamed Ishmael Belghazi+1 more|arXiv (Cornell University)|Jun 25, 2015

Neural Networks and Applications参考文献 7被引用数 4

ひとこと要約

この論文は、重みが結合されていない自己符号化器が保存的ベクトル場を定義するための必要十分条件を確立し、未正規化対数尤度に類似したエネルギー関数の構築を可能にする。保存的性質は再構築ヤコビ行列の対称性に依存しており、ノイズ除去学習がこの条件を局所的に強制することで、重みが結合されていなくても自己符号化器がベクトル場の保存的成分を抽出可能であることを示している。

ABSTRACT

We discuss necessary and sufficient conditions for an auto-encoder to define a conservative vector field, in which case it is associated with an energy function akin to the unnormalized log-probability of the data. We show that the conditions for conservativeness are more general than for encoder and decoder weights to be the same ("tied weights"), and that they also depend on the form of the hidden unit activation function, but that contractive training criteria, such as denoising, will enforce these conditions locally. Based on these observations, we show how we can use auto-encoders to extract the conservative component of a vector field.

研究の動機と目的

• 重みが結合されていない自己符号化器が保存的ベクトル場を定義するための必要十分条件を特定すること。
• 特に重みが結合されていない場合に、自己符号化器が関連エネルギー関数を持つために重みの結合が必要かどうかを明確にすること。
• 重みが結合されていないにもかかわらず、エンコーダーとデコーダーの重みが学習中にしばしば類似する理由を調査すること。
• 自己符号化器を用いて一般のベクトル場の保存的成分を抽出する方法を開発すること。
• 重みが結合されたアーキテクチャにとどまらない、自己符号化器と確率的モデルの理論的関係を拡張すること。

提案手法

• 論文は、自己符号化器が保存的であるための必要十分条件が、単純連結領域 K 内で再構築ヤコビアン ∂r(x)/∂x が対称であることであると導出する。
• 微分形式と外微分法を用いて、自己符号化器のベクトル場に関連する1形式が完全（すなわち保存的）であるための必要十分条件がヤコビアンの対称性であることを示す。
• この導出は、閉形式（dα = 0）が単純連結領域で完全であるというポincareの定理に依拠している。
• 条件 dα = 0 が、すべての i, j に対して ∂r_i/∂x_j = ∂r_j/∂x_i を満たすヤコビ行列の対称性と同値であることが示されている。
• この手法により、重みが結合されていなくても、保存的ベクトル場 r(x) − x = ∇F(x) の統合を用いてエネルギー関数 F(x) を回復可能である。
• MNIST における実験的検証により、ノイズ除去自己符号化器が学習データ付近でますます保存的になるベクトル場を学習することが示された。

実験結果

リサーチクエスチョン

• RQ1 重みが結合されていない自己符号化器が保存的ベクトル場を定義するのはどのような条件下か？
• RQ2 自己符号化器が関連エネルギー関数を持つために重みの結合初期化が必要か？
• RQ3 重みが結合されていない自己符号化器において、エンコーダーとデコーダーの重みが学習中にしばしば類似する理由は何か？
• RQ4 一般のベクトル場の保存的成分を自己符号化器を用いて抽出可能か？
• RQ5 ノイズ除去学習は、データ多様体付近でどのように保存的性質を強制するのか？

主な発見

• 自己符号化器が保存的であるための必要十分条件は、単純連結領域内のすべての x に対して再構築ヤコビアンが対称であることである。
• 重みの結合は保存的性質のための十分条件ではあるが、必要条件ではない。重要な要因はヤコビアンの対称性であり、これは重みの結合がなくても出現しうる。
• コントラクト型学習基準（ノイズ除去など）は、データ多様体付近でヤコビアンの対称性を強制し、保存的性質を促進する。
• 本論文は、重みが結合されていない自己符号化器がベクトル場の保存的成分を抽出可能であることを実証しており、エネルギー関数において元の MNIST データ点がノイズ入りデータ点よりも優遇される傾向が顕著になった。
• 平均して、重みが結合されていない自己符号化器で学習された保存的ベクトル場のポテンシャルエネルギーは、F=0 のとき 0.5072 から F=K のとき 0.9968 まで上昇し、元のデータ点が優遇されることを示している。
• シグモイドユニットを用いた重みが結合された自己符号化器のエネルギー関数は、ガウス型RBMの自由エネルギーと数学的に同等であることが確認され、両モデル間の深い関係が裏付けられた。