[論文レビュー] Scheduled denoising autoencoders

Krzysztof J. Geras, Charles Sutton|arXiv (Cornell University)|Jun 12, 2014

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 23

ひとこと要約

本稿では、徐々に減少するノイズスケジュールを用いてノイズ除去オートエンコーダーを訓練する、スケジュールドデノイジングオートエンコーダー（ScheDA）を提案する。高ノイズから始めることで粗い特徴を捉え、段階的にノイズを減らして細かい特徴を学習することで、CIFAR-10において順列不変な手法の中で最先端の性能を達成し、標準的なノイズ除去オートエンコーダーよりも優れており、教師あり微調整後の報告済み誤差が最小である。

ABSTRACT

We present a representation learning method that learns features at multiple different levels of scale. Working within the unsupervised framework of denoising autoencoders, we observe that when the input is heavily corrupted during training, the network tends to learn coarse-grained features, whereas when the input is only slightly corrupted, the network tends to learn fine-grained features. This motivates the scheduled denoising autoencoder, which starts with a high level of noise that lowers as training progresses. We find that the resulting representation yields a significant boost on a later supervised task compared to the original input, or to a standard denoising autoencoder trained at a single noise level. After supervised fine-tuning our best model achieves the lowest ever reported error on the CIFAR-10 data set among permutation-invariant methods.

研究の動機と目的

• 標準的なノイズ除去オートエンコーダーには、1つのノイズレベルでのみ特徴を学習するという限界があり、マルチスケール表現を逃す可能性があることに対処する。
• 訓練中に動的ノイズスケジュールを用いることで、固定ノイズでの訓練に比べてより優れた特徴表現が得られるかどうかを調査する。
• 段階的なノイズ低減により、粗い特徴と細かい特徴の両方を学習させることで、下流の教師ありタスクにおける性能を向上させる。
• まずグローバルな特徴を学び、その後ローカルな特徴を学ぶことで、よりロバストで一般化可能な表現が得られることを示す。

提案手法

• モデルは、訓練エポックに伴いノイズレベルが減少するノイズ除去オートエンコーダーフレームワークを用いる。
• 訓練は高いノイズレベル（例：ν = 0.4）から開始され、ネットワークがグローバルで粗い特徴を学ぶように促される。
• 訓練が進むにつれてノイズレベルが段階的に低下する（例：ν = 0.2 まで）、これによりネットワークはより細かいローカルな詳細を学習できるようになる。
• エンコーダーはノイズの加えられた入力を隠れ表現にマップし、デコーダーはこの表現から元の入力を再構築する。
• 損失は確率的勾配降下法で最小化され、ノイズスケジュールがエポック全体にわたって特徴階層の学習をガイドする。
• 本手法は画像およびテキストデータにおいて、固定ノイズレベルで訓練された標準的なノイズ除去オートエンコーダーと比較して、実証的に検証されている。

実験結果

リサーチクエスチョン

• RQ1 減少するノイズスケジュールでノイズ除去オートエンコーダーを訓練することで、固定ノイズでの訓練に比べて表現学習が向上するか？
• RQ2 まず粗い特徴を学び、その後に細かい特徴を学ぶことで、下流の分類タスクにおける性能が向上するか？
• RQ3 ScheDAにおけるマルチスケール特徴学習は、最適な単一ノイズレベルで訓練された標準的なノイズ除去オートエンコーダーと定量的に比較してどうなるか？
• RQ4 スケジュールされた訓練プロセスは、単一ノイズでの訓練に比べて、学習されたフィルタの多様性をどの程度高めるか？

主な発見

• ScheDAは、画像およびテキスト分類タスクの両方で、単一最適ノイズレベルで訓練された標準的なノイズ除去オートエンコーダーを上回る性能を示した。
• ScheDAが学習した表現は、標準的なノイズ除去オートエンコーダーの表現よりも、下流の教師ありタスクで低いテスト誤差を達成した。
• 教師あり微調整後、最高のScheDAモデルは、順列不変な手法の中でCIFAR-10データセットで報告済みの最小誤差を達成した。
• ScheDAが学習したフィルタは、最終ノイズレベルで訓練された標準的なノイズ除去オートエンコーダーとは質的に異なるものであり、特徴階層が別個であることが示された。
• 標準的なノイズ除去オートエンコーダーが最終ノイズレベルで訓練された場合、再構築誤差が低くなる可能性があるが、ScheDAは依然としてより優れた分類性能を示しており、特徴の質が向上していることが示唆された。
• 2つの別々のノイズレベル（ν = 0.2 および ν = 0.4）を用いた複合型ノイズ除去オートエンコーダーも、ScheDAとほぼ同等の性能を示したため、連続的なスケジュールがなくても、マルチノイズ訓練が有効であることが示唆された。