[論文レビュー] Revisit Lmser and its further development based on convolutional layers

Wenjing Huang, Shikui Tu+1 more|arXiv (Cornell University)|Apr 12, 2019

Fire Detection and Safety Systems参考文献 15被引用数 6

ひとこと要約

この論文は、元々重みが固定された対称的な自己符号化器であった1991年のLmserネットワークを再考し、画像処理のための深層畳み込みニューラルネットワークに拡張する。Lmserに畳み込み層を適用することで、安定した学習が可能となり、画像再構成、生成、関連想起、分類の各タスクで優れた性能を達成することが示された。これにより、現代の深層学習環境においてもLmserの実用性と汎用性が確認された。

ABSTRACT

Proposed in 1991, Least Mean Square Error Reconstruction for self-organizing network, shortly Lmser, was a further development of the traditional auto-encoder (AE) by folding the architecture with respect to the central coding layer and thus leading to the features of symmetric weights and neurons, as well as jointly supervised and unsupervised learning. However, its advantages were only demonstrated in a one-hidden-layer implementation due to the lack of computing resources and big data at that time. In this paper, we revisit Lmser from the perspective of deep learning, develop Lmser network based on multiple convolutional layers, which is more suitable for image-related tasks, and confirm several Lmser functions with preliminary demonstrations on image recognition, reconstruction, association recall, and so on. Experiments demonstrate that Lmser indeed works as indicated in the original paper, and it has promising performance in various applications.

研究の動機と目的

• 計算制約のため元々1層の全結合層に限定されていたオリジナルのLmserネットワークを再検討し、深層で多層構造に拡張すること。
• Lmserを畳み込みニューラルネットワーク（CNN）アーキテクチャに適応させ、認識、再構成、生成などの画像関連タスクにおける性能を向上させること。
• 対称的重み固定、統合的教師あり/教師なし学習、関連記憶といったLmserのコアな機能が、深層ネットワーク上でも実証的に有効であることを検証すること。
• Lmserに畳み込み層を適用しても、MNIST、Fashion-MNIST、CelebAなどの複雑な画像データセットに対し、安定性と一般化性能が維持されることを示すこと。
• 対称的かつ双方向構造を活かした制御可能な画像生成および部分入力からの回復可能性の可能性を検討すること。

提案手法

• 符号化器と復号器が同一の構造と固定された重み（WとW^T）を持つ対称的重み固定を採用した深層Lmserネットワークを提案。これにより双方向信号伝播が可能となる。
• Lmserフレームワークを全結合層から畳み込み層へ拡張し、符号化器と復号器の両方で共有された転置畳み込みフィルタと畳み込みフィルタを用いて重みの対称性を維持する。
• 二段階学習メカニズムを採用：信号の均衡を図る「受容フェーズ」と、平均二乗誤差（MSE）損失を用いて重みを更新する「学習フェーズ」。
• 中央符号化層の一部をラベル予測に使用することで、教師ありLmserを導入。これにより、教師ありと教師なしの両方の学習が可能となる。
• 符号化器と復号器の対応するニューロン間にスキップ接続を導入し、特徴の再構成性と安定性を向上させる。
• MNIST、Fashion-MNIST、CelebAといった標準データセットを用いて画像タスクに適用。バックプロパゲーションによる学習と、再構成、生成、関連想起の評価を実施。

実験結果

リサーチクエスチョン

• RQ1 元々のLmserネットワークは、深層で多層構造に拡張可能であり、画像タスクにおいても安定性と性能を維持できるか？
• RQ2 Lmserの対称的重み固定と双方向構造は、深層CNN環境下でも効果的な画像再構成と生成を可能にするか？
• RQ3 Lmserの対称的かつ可逆構造を活かして、部分的な入力（例：顔画像の目をマスクした状態）からの関連想起が可能か？
• RQ4 標準的な自己符号化器（AE）と比較して、Lmserは画像データセットにおける再構成、生成、分類タスクでどの程度優れた性能を示すか？
• RQ5 中央符号化層の潜在コードユニットを操作することで、Lmserはどの程度制御可能な画像生成を実現できるか？

主な発見

• 畳み込み層を備えた深層Lmserネットワークは安定的かつ効果的に学習可能であり、元々のLmserアーキテクチャが深層学習環境でも実用可能であることが確認された。
• 畳み込み層を用いたLmserは、高品質な画像再構成と生成を達成しており、合成された画像は妥当な構造を持ち、スタイルや形状の制御可能な変化を示した。
• 個々の潜在コードユニットを操作することで制御可能な画像生成が実証された。例えば、1つのコードユニットを段階的に変化させることで、数字が新しいスタイル（例：頭に円を追加）に変化したり、傾きが変わることで、特徴表現が整然としており、凝集していることが示された。
• 部分的な入力（例：顔画像の目をマスクした状態）からの関連想起が成功裏に達成され、再構成画像が正解に近く、対称的かつ双方向的推論により欠損部分を効果的に推定できることが示された。
• 実験により、Lmserは再構成および生成タスクにおいて標準的な自己符号化器を上回る性能を示した。特に、多様で妥当な新規サンプルの生成において顕著な優位性が確認された。
• 対称的重み固定と共有ニューロンの使用により、入力データと再構成データの間で安定的かつ可逆的なマッピングが実現され、教師なし学習および統合的教師あり学習の両方を支援した。