[論文レビュー] Denoising autoencoder with modulated lateral connections learns invariant representations of natural images

Antti Rasmus, Tapani Raiko+1 more|arXiv (Cornell University)|Dec 22, 2014

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 14

ひとこと要約

本稿では、エンコーダー特徴が復元の強度を調整できるようにすることで、高層層が不変で抽象的な表現を学習できるようにする、変調された横方向接続を備えたノイズ除去オートエノードが提案されている。この手法は、ノイズ除去性能を顕著に向上させ、より深い層での不変性の獲得を加速し、教師なしで多様で選択的なプーリングを可能にし、教師あり学習パイプラインと互換性がある。

ABSTRACT

Suitable lateral connections between encoder and decoder are shown to allow higher layers of a denoising autoencoder (dAE) to focus on invariant representations. In regular autoencoders, detailed information needs to be carried through the highest layers but lateral connections from encoder to decoder relieve this pressure. It is shown that abstract invariant features can be translated to detailed reconstructions when invariant features are allowed to modulate the strength of the lateral connection. Three dAE structures with modulated and additive lateral connections, and without lateral connections were compared in experiments using real-world images. The experiments verify that adding modulated lateral connections to the model 1) improves the accuracy of the probability model for inputs, as measured by denoising performance; 2) results in representations whose degree of invariance grows faster towards the higher layers; and 3) supports the formation of diverse invariant poolings.

研究の動機と目的

• 教師あり学習が位置や照明などの関係のない変化に対して不変性を要するのに対し、教師なしオートエノードが入力のすべての詳細を保持するというギャップを是正すること。
• エンコーダーからデコーダーへの横方向接続が、高層層が詳細な表現ではなく抽象的で不変な特徴に注目できるかを調査すること。
• 変調された横方向接続が、教師なしで多様で選択的かつ不変なプーリングを学習する能力を向上させるかを評価すること。

提案手法

• エンコーダーの高層層特徴からデコーダーへの変調された横方向接続を導入し、不変特徴が復元の強度を制御できるようにする。
• 2次誤差関数とバックプロパゲーションを用いたノイズ除去オートエノードフレームワークを採用する。
• 深層階層を効率的に学習し、表現学習をガイドするために、層ごとの損失関数を用いる。
• 重みが固定された整流線形ユニット（ReLU）を用い、負の重みが凹型活性化関数（論理和演算に類似）を実装する。
• 変調された横方向接続が不変特徴と復元の詳細を乗法的に統合する相互作用メカニズムを採用する。
• ニューロンの挙動と高層でのプーリング多様性を分析するために、不変性指標と有意性指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 変調された横方向接続の導入により、ノイズ除去オートエノードが元のデータ分布をより正確にモデル化できるようになるか？
• RQ2 横方向接続の有無が、より深い層における表現の不変性の度合いにどのように影響するか？
• RQ3 変調された横方向接続が、教師なしで多様で選択的かつ不変なプーリング操作の形成を支援できるか？
• RQ4 アーキテクチャが、層サイズのバランスと高層での特徴の使用にどのように影響するか？
• RQ5 変調された横方向接続が、高層が詳細情報ではなく抽象的で不変な特徴に注目できるようになる程度はどの程度か？

主な発見

• 変調された横方向接続を備えたモデルは、データの確率的モデルがより正確であることを示唆する顕著なノイズ除去性能を達成した。
• 変調された横方向接続があるモデルでは、それらがないモデルと比較して、高層での不変性がはるかに速やかに向上した。
• 変調モデルの高層では、ほとんどが不変表現に集中しており、通常のオートエノードとは異なり、詳細に敏感なニューロンが残っていなかった。
• 変調モデルは多数の多様で選択的なプーリングを学習し、各レイヤー1ニューロンが複数の質的に異なるプーリンググループに参加していた。
• 不変性は負の固定重みと強く関連しており、これによりReLUユニットが凹型関数（論理和に類似）に変換され、選択的プーリングを支援した。
• 層サイズが増加しても、変調モデルは第2層で高い不変性を維持したため、学習された表現の堅牢性とスケーラビリティが確認された。