[論文レビュー] Generalization Bounds For Unsupervised and Semi-Supervised Learning With Autoencoders

Baruch Epstein, Ron Meir|arXiv (Cornell University)|Feb 4, 2019

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 13

ひとこと要約

この論文は、自己符号化器における教師なしおよび半教師あり学習の一般化境界を導出するための新しいマージンに基づく再構成損失を導入する。良好に一般化する自己符号化器は、次元削減を伴いながらも入力の構造を保持する。これは、クラスタリングの分離度を犠牲にして次元を低くすることで、半教師あり学習の性能を向上させることを可能にする。

ABSTRACT

Autoencoders are widely used for unsupervised learning and as a regularization scheme in semi-supervised learning. However, theoretical understanding of their generalization properties and of the manner in which they can assist supervised learning has been lacking. We utilize recent advances in the theory of deep learning generalization, together with a novel reconstruction loss, to provide generalization bounds for autoencoders. To the best of our knowledge, this is the first such bound. We further show that, under appropriate assumptions, an autoencoder with good generalization properties can improve any semi-supervised learning scheme. We support our theoretical results with empirical demonstrations.

研究の動機と目的

• 自己符号化器の教師なしおよび半教師あり学習における一般化の理解に関する理論的ギャップを埋める。
• 自己符号化器が入力の微細な特徴を再構成することを目的とすることと、分類器がこのような変動を無視することを目的とするという根本的な対立を解消する。
• 良好に動作する自己符号化器が、次元削減を伴いながらも入力構造を保存することで、任意の半教師あり学習スキームを向上させることを示す。
• Singh (2008) を拡張し、自己符号化器を用いた半教師あり学習が一般化を向上させる条件を特定する。特に、クラスタ分離度を低次元化と引き換えにすることで、一般化性能が向上することを示す。

提案手法

• 既存の教師ありディープラーニングの一般化境界を自己符号化器に適応可能にするために、新しい再構成損失に基づくマージンベースの再構成損失を提案する。
• この損失を用いて自己符号化器の一般化境界を導出し、再構成誤差の有界性とL2再構成損失の有界性を結びつける。
• 一般化誤差が小さい自己符号化器は、非収縮的エンコーダーを誘導することを示す。これは、ほとんどの入力ペair間の距離を保存することを意味する。
• クラスタリング仮定の下で、エンコーダーが入力を次元が低い空間に写像し、クラスタ構造が良好に保存されることを示す。
• 入力クラスタの分離マージンと表現の次元性の間のトレードオフを形式化し、次元削減が半教師あり学習性能を向上させることを示す。
• 一般化境界を半教師あり学習に適用し、優れた自己符号化器のエンコーダーが入力空間の有効次元を低下させつつもクラスタ構造を破壊しないことを示す。

実験結果

リサーチクエスチョン

• RQ1 新しい再構成損失を用いることで、深層ネットワークの一般化境界を自己符号化器に適応できるか？
• RQ2 良好に一般化する自己符号化器のエンコーダーは、入力データ分布の幾何構造にどのように影響を与えるか？
• RQ3 どのような条件下で自己符号化器が任意の半教師あり学習スキームを改善できるか？
• RQ4 入力データのクラスタ構造が、自己符号化器を用いた半教師あり学習の利点にどの程度影響を与えるか？
• RQ5 自己符号化器による次元削減によって、半教師あり学習の一般化境界における次元の呪いを軽減できるか？

主な発見

• 提案されたマージンに基づく再構成損失により、自己符号化器の一般化境界を導出可能である。著者らの知る限り、これは初めての一般化境界である。
• 有界なマージンに基づく再構成損失は、有界なL2再構成損失を意味し、新規損失が標準的な評価指標と結びつくことを示す。
• 一般化誤差が小さい自己符号化器は、非収縮的エンコーダーを誘導する。これは、ほとんどの入力ペair間の距離が縮小されないことを意味する。
• クラスタリング仮定の下で、エンコーダーは入力を次元が低い空間に写像し、クラスタ構造が保存される。これにより、効果的な半教師あり学習が可能になる。
• このフレームワークにより、入力クラスタの分離マージンと表現の次元性の間のトレードオフを可能にし、半教師あり学習のスケーラビリティを向上させられる。
• 結果として、Singh (2008) を拡張し、自己符号化器を用いた半教師あり学習が一般化を向上させられることを示した。特に、クラスタ構造を保持しつつ次元を低くすることで、一般化性能が向上することが明らかになった。