[論文レビュー] Analyzing noise in autoencoders and deep networks

Ben Poole, Jascha Sohl‐Dickstein+1 more|arXiv (Cornell University)|Jun 6, 2014

Model Reduction and Neural Networks参考文献 4被引用数 68

ひとこと要約

本稿では、入力、隠れユニットの入力、隠れ活性化の3つのレベルにわたってノイズを注入する統合的フレームワークであるノイジィオートエナフォーマー（NAE）を提案する。ノイズの種類を体系的に分析した結果、NAEはノイズ除去のタスクにおいてデノイジングオートエナフォーマーを上回り、MNISTおよびCIFAR-10で最先端の性能を達成した。ガウス分布およびポisson分布のノイズは、表現におけるスパarsity、相関性の低減、情報の分散を向上させる。

ABSTRACT

Autoencoders have emerged as a useful framework for unsupervised learning of internal representations, and a wide variety of apparently conceptually disparate regularization techniques have been proposed to generate useful features. Here we extend existing denoising autoencoders to additionally inject noise before the nonlinearity, and at the hidden unit activations. We show that a wide variety of previous methods, including denoising, contractive, and sparse autoencoders, as well as dropout can be interpreted using this framework. This noise injection framework reaps practical benefits by providing a unified strategy to develop new internal representations by designing the nature of the injected noise. We show that noisy autoencoders outperform denoising autoencoders at the very task of denoising, and are competitive with other single-layer techniques on MNIST, and CIFAR-10. We also show that types of noise other than dropout improve performance in a deep network through sparsifying, decorrelating, and spreading information across representations.

研究の動機と目的

• ドロップアウト、スパース、コントラクト型、デノイジングなどの多様な正則化手法を、一元的なノイズ注入フレームワークに統合すること。
• 入力、隠れユニットの入力、隠れ活性化の各層にノイズを注入することで、表現の頑健性および一般化性能がどのように向上するかを調査すること。
• 従来のドロップアウトとは異なるノイズタイプ（例：ガウス分布、ポisson分布）が、教師なし事前学習および教師あり微調整において、性能を向上させるかどうかを評価すること。
• ノイズがスパarsity、相関性の低減、隠れ表現間での情報分布をどのように向上させるかのメカニズムを理解すること。
• 教師なしノイズ注入と教師あり微調整時のノイズとの相互作用が、深層ネットワークの最終的性能に与える影響を探索すること。

提案手法

• 入力の汚染（ε_I）、隠れユニットの入力ノイズ（ε_H）、隠れ活性化ノイズ（ε_Z）の3レベルに独立したノイズを注入するノイジィオートエナフォーマー（NAE）モデルを提案し、タプル (ε_I, ε_H, ε_Z) としてパrameter化する。
• 確率的でノイズに影響を受ける演算を用いてエンコーダーと再構成関数を定義する：h̃(x) = s_f((W(x ⊙ ε_I) + b) ⊙ ε_Z) ⊙ ε_H および r(x) = s_g((W' h̃ + d) ⊙ ε_H)、ここで ⊙ は要素ごとの乗算または加算を表す。
• ノイズ分布にわたる期待再構成誤差 E[L(x, r(x, ε_I, ε_Z, ε_H))] を最小化することでNAEを学習し、確率的バックプロパゲーションを用いたエンドツーエンド学習を可能にする。
• 特定のノイズタイプを周辺化することで、NAEと既存手法（コントラクト型オートエナフォーマー、スパースオートエナフォーマー、ドロップアウト）との解析的関係を導出する。
• MNISTおよびCIFAR-10で、勾配降下法にモーメンタムを適用し、加法的ガウスノイズ、平均に比例する分散を示すポissonノイズ、およびドロップアウトを比較して学習を実施する。
• 教師あり微調整時にノイズ注入を適用し、教師なし事前学習と教師ありノイズの相互作用が性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 オートエナフォーマーの複数レベルにノイズを注入することで、デノイジング、コントラクト型、スパース、ドロップアウトなどの既存の正則化手法を統合的かつ一般化できるか？
• RQ2 ドロップアウトとは異なるノイズタイプ（例：加法的ガウス分布、ポisson分布）を用いることで、従来のドロップアウトに比べて表現品質および分類精度が向上するか？
• RQ3 ノイズ注入が、スパarsity、相関性の低減、活性化スペクトルといった、学習済み表現の主要な特性にどのように影響を与えるか？
• RQ4 ノイジィオートエナフォーマーは、ノイズ除去そのものというタスクにおいて、デノイジングオートエナフォーマーを上回ることができるか？
• RQ5 教師なしノイズ注入と教師あり微調整時のノイズとの相互作用が、最終的なモデル性能に与える影響はいかなるものか？

主な発見

• ノイジィオートエナフォーマーは、入力レベルの汚染のみに依存する標準的なデノイジングオートエナフォーマーを、ノイズ除去タスクで上回った。これは、複数レベルのノイズ注入が、入力レベルの汚染を超えた頑健性を向上させることを示している。
• MNISTでは、加法的ガウスノイズを用いた最良のNAEが85件のテスト誤差を記録し、ドロップアウト（96件）およびマックスアウトネットワーク（96件）を上回り、単一層の事前学習モデルとして最高の性能を達成した。
• ポissonノイズバージョンは92件のテスト誤差を記録し、活性化の平均に比例する分散を持つノイズが性能向上に寄与することを示したが、ガウスノイズほど効果的ではなかった。
• ガウスノイズは2番目の隠れ層の表現を最もスパースにしたが、ドロップアウトは1番目の層で最も高いスパarsity（ライフタイムおよびパopulationスパarsity両方）を誘発した。
• すべてのノイズタイプが、ノイズなしのネットワークに比べてスパarsityを向上させるとともに、活性化の相関性を低減させ、より平坦な活性化スペクトルを示した。これは、情報がより均等に分布していることを示唆している。
• 結果から、ノイズ注入が、異なるクラスの表現間に有効な反発力を生み出し、同じクラスの点を圧縮することで、一般化性能を向上させると考えられる。