[論文レビュー] Information Dropout: learning optimal representations through noise

Alessandro Achille, Stefano Soatto|arXiv (Cornell University)|Apr 24, 2017

Domain Adaptation and Few-Shot Learning被引用数 20

ひとこと要約

本稿では、情報ボトルネック原理に基づいたノイズ注入法として、情報ドロップアウトを提案する。この手法は、隠れ活性化の適応的正則化を通じて表現学習を向上させる。従来のドロップアウトの変種を一般化し、不要要因に不変な特徴を学習し、再構成タスクにおいて変分オートエンコーダーを回復する。特に小規模モデルにおいて、バイナリドロップアウトを上回る性能を発揮する。

ABSTRACT

We introduce Information Dropout, a generalization of dropout that is motivated by the Information Bottleneck principle and highlights the way in which injecting noise in the activations can help in learning optimal representations of the data. Information Dropout is rooted in information theoretic principles, it includes as special cases several existing dropout methods, like Gaussian Dropout and Variational Dropout, and, unlike classical dropout, it can learn and build representations that are invariant to nuisances of the data, like occlusions and clutter. When the task is the reconstruction of the input, we show that the information dropout method yields a variational autoencoder as a special case, thus providing a link between representation learning, information theory and variational inference. Our experiments validate the theoretical intuitions behind our method, and we find that information dropout achieves a comparable or better generalization performance than binary dropout, especially on smaller models, since it can automatically adapt the noise to the structure of the network, as well as to the test sample.

研究の動機と目的

• 情報理論に根ざした原理的ドロップアウト手法の開発。表現学習の向上を目的とする。
• オクルージョンやごみ混じりのデータなどの不要要因に対して不変な表現を学習できるようにすること。
• 既存のドロップアウト手法を共通の情報理論的枠組みで統一すること。
• 表現学習、情報理論、および変分推論の間の関係を確立すること。
• 特にデータ量が少ない、またはモデルが小さい状況において、一般化性能の向上を示すこと。

提案手法

• 情報ドロップアウトは、情報理論的原則、特に情報ボトルネック法に基づいて、隠れ活性化にノイズを注入する。
• 最適化の目的関数は、表現と入力の間の相互情報量を最小化するとともに、タスクに必要な情報を保持することに定式化される。
• 各層および各サンプルに対して最適なノイズ分布を学習することで、ガウスドロップアウトおよび変分ドロップアウトを一般化する。
• 表現の事後分布に対する変分近似を用いることで、エンドツーエンドの学習が可能になる。
• ノイズスケジューリングは、ネットワーク構造および入力データに応じて適応的であり、動的正則化を可能にする。
• 再構成タスクでは、情報ドロップアウトは変分オートエンコーダーに簡略化され、生成モデルと結びつく。

実験結果

リサーチクエスチョン

• RQ1 情報理論に従ってガイドされたノイズ注入は、深層ネットワークにおける表現学習を向上させることができるか？
• RQ2 情報ドロップアウトは、オクルージョンやごみ混じりのノイズといったデータの不要要因に対して不変な表現を学習するか？
• RQ3 一般化性能の観点で、情報ドロップアウトはバイナリドロップアウト、ガウスドロップアウト、および変分ドロップアウトと比べてどうなるか？
• RQ4 再構成タスクにおいて、情報ドロップアウトは既知のモデル（例：変分オートエンコーダー）を回復できるか？
• RQ5 適応的ノイズスケジューリングは、小規模モデルや限られたデータ環境で性能を向上させるか？

主な発見

• 情報ドロップアウトは、特に小規模モデルにおいて、バイナリドロップアウトと同等またはそれ以上の一般化性能を達成する。
• 本手法は、オクルージョンやごみ混じりのノイズといったデータの不要要因に対して不変な表現を学習し、耐性を向上させる。
• 入力の再構成タスクにおいて、情報ドロップアウトは変分オートエンコーダーに簡略化され、理論的整合性が確認された。
• 適応的ノイズスケジューリングにより、モデルは入力およびネットワーク構造に応じた正則化を最適化でき、学習効率が向上する。
• 実験により理論的基盤が検証され、情報理論に基づくノイズ注入が、より頑健で一般化可能な表現をもたらすことが示された。