[論文レビュー] SCHA-VAE: Hierarchical Context Aggregation for Few-Shot Generation

Giorgio Giannone, Ole Winther|arXiv (Cornell University)|Oct 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 4

ひとこと要約

本論文では、注意に基づく置換不変な集約を介して集合レベルのコンテキストを学習することにより、少数のショット生成を向上させる階層的変分オートエンコーダー、SCHA-VAEを提案する。グローバルおよびローカル表現を階層的にモデル化することで、未学習のクラスや集合サイズに対しても効果的に一般化し、尤度とサンプリング品質が向上した、少数のショット生成において最先端の性能を達成する。

ABSTRACT

A few-shot generative model should be able to generate data from a novel distribution by only observing a limited set of examples. In few-shot learning the model is trained on data from many sets from distributions sharing some underlying properties such as sets of characters from different alphabets or objects from different categories. We extend current latent variable models for sets to a fully hierarchical approach with an attention-based point to set-level aggregation and call our method SCHA-VAE for Set-Context-Hierarchical-Aggregation Variational Autoencoder. We explore likelihood-based model comparison, iterative data sampling, and adaptation-free out-of-distribution generalization. Our results show that the hierarchical formulation better captures the intrinsic variability within the sets in the small data regime. This work generalizes deep latent variable approaches to few-shot learning, taking a step toward large-scale few-shot generation with a formulation that readily works with current state-of-the-art deep generative models.

研究の動機と目的

• 最小限の例からの一般化を必要とする低データ環境における少数のショット生成の課題に対処すること。
• 階層的推論と学習可能な集約を導入することで、集合のための潜在変数モデルの表現力を向上させること。
• テスト時における適応なしに、未学習のクラスや変動する集合基数にまで強固に一般化できること。
• 現代の深層生成モデルと互換性があるスケーラブルで、置換不変なフレームワークを提供すること。

提案手法

• 入力サンプルの注意に基づくプーリングを通じて学習される集合レベルの潜在変数 c を用いて、グローバルコンテキストをモデル化する階層的VAE、SCHA-VAEを提案する。
• 段階的なローカルサンプル特徴とグローバルコンテキストの統合を促進する階層的推論機構を用いることで、表現学習を強化する。
• 固定プーリング（例：平均、最大値）を置き換える注意に基づく統合を用いた学習可能な集約モジュールを採用する。
• 順序のない集合を処理できる置換不変なアーキテクチャを導入し、入力順序に関係なく一貫した挙動を保証する。
• モデルが定義する予測分布および周辺分布を探索するための反復的サンプリング戦略を適用する。
• 標準的なVAEのコンponentsと組み合わせることで、最先端のアーキテクチャおよびトレーニング手順との互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な集約を備えた階層的潜在変数モデルは、非階層的ベースラインと比較して、少数のショット生成性能を向上させることができるか？
• RQ2 微調整なしに、推論時における未学習のクラスや変動する集合基数に、どの程度一般化できるか？
• RQ3 注意に基づく集約は、集合レベルの構造を捉える点で、固定プーリング機構をどの程度上回るか？
• RQ4 階層的推論は、小データ環境における内在的なばらつきを捉える能力を向上させるか？
• RQ5 提案されたフレームワークは、現代のVAEアーキテクチャと効果的に組み合わせられ、生成性能を向上させることができるか？

主な発見

• Omniglotのテストセットにおいて、SCHA-VAEは尤度スコアが優れており、集合サイズが2から20に増加するにつれて性能が単調に向上する。
• 階層的推論と学習可能な集約モジュールは、すべての集合サイズにおいて、非階層的および固定プールベースラインを一貫して上回る。
• 分布外のクラスや未学習の集合基数に対しても、効果的に一般化され、強力な少数のショット転送能力を示している。
• 反復的サンプリング戦略により、生成されたサンプルの多様性と忠実度が向上しており、真のデータ分布のモデリングが改善されていることが示唆される。
• 注意に基づく集約機構は、特に画像のような複雑で高次元のデータにおいて、平均値や最大値プーリングよりも優れたコンテキスト表現を可能にする。
• SCHA-VAEは最先端のVAEアーキテクチャと強く互換性があり、広範な適用可能性とさらなる性能向上の可能性を示唆している。