[論文レビュー] Few-shot Autoregressive Density Estimation: Towards Learning to Learn Distributions

Scott Reed, Yutian Chen+6 more|arXiv (Cornell University)|Oct 27, 2017

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 40

ひとこと要約

本稿では、自己回帰モデルにニューラルアテンションとメタラーニングを組み合わせることで、少数の例からの密度推定を可能にするAttention PixelCNNおよびMeta PixelCNNを提案する。生成時にサポート画像に注目することで、わずかな例から視覚的概念を推論する能力を学習し、Omniglotでは最先端の尤度スコアを達成するとともに、自然画像においても明示的な教師信号なしで高品質なサンプルを生成する。

ABSTRACT

Deep autoregressive models have shown state-of-the-art performance in density estimation for natural images on large-scale datasets such as ImageNet. However, such models require many thousands of gradient-based weight updates and unique image examples for training. Ideally, the models would rapidly learn visual concepts from only a handful of examples, similar to the manner in which humans learns across many vision tasks. In this paper, we show how 1) neural attention and 2) meta learning techniques can be used in combination with autoregressive models to enable effective few-shot density estimation. Our proposed modifications to PixelCNN result in state-of-the art few-shot density estimation on the Omniglot dataset. Furthermore, we visualize the learned attention policy and find that it learns intuitive algorithms for simple tasks such as image mirroring on ImageNet and handwriting on Omniglot without supervision. Finally, we extend the model to natural images and demonstrate few-shot image generation on the Stanford Online Products dataset.

研究の動機と目的

• わずかな訓練例しか与えられない状況下で確率分布を学習する、少数の例からの密度推定の課題に取り組む。
• 標準的な深層ネットワークが小規模データセットを記憶してしまう傾向にあることによる一般化の限界を克服する。
• メタラーニングとアテンション機構を自己回帰モデルに組み合わせることで、効果的で一般化可能な分布事前分布を学習できるかを検討する。
• 人間が少数の例から視覚的概念を習得するのを模倣するように、モデルが分布を学ぶ「学びの学び」のフレームワークを構築する。
• 合成データ（Omniglot）および実世界の画像データ（Stanford Online Products）の両方において、このアプローチの有効性を実証する。

提案手法

• サポート画像の小さな集合を条件として、関連する領域に注目する学習可能なアテンション機構を用いて、PixelCNNを拡張する。
• 勾配に基づく適応を用いたメタラーニングを統合し、モデルパラメータをサポートセットの対数尤度に基づくメタ勾配ステップで更新する。
• Stanford Online Productsデータセットにおける画像の詳細を異なるスケールでモデル化するため、複数の解像度ストリーム（8×8、16×16、32×32）を備えたマルチスケールアーキテクチャを採用する。
• 自己回帰的尤度最大化によりモデルを訓練し、各画素は以前の画素およびアテンションまたはメタアップデートを通じて得られるサポートセットに基づいて条件付きで予測される。
• アテンションベースの条件付けと勾配ベースのメタアップデートをハイブリッドで組み合わせたAttention Meta PixelCNNを適用するが、単体のアテンションモデルに比べて性能が劣る。
• アテンション重みを可視化し、ミラー画像や筆跡のスタイルを複製するといった直感的な生成戦略をモデルがどのように学習しているかを解釈する。

実験結果

リサーチクエスチョン

• RQ1 自己回帰モデルにおけるアテンション機構が、小さなサポート画像セット内の関連する特徴に注目することで、効果的な少数の例からの密度推定を可能にするか？
• RQ2 勾配に基づくメタラーニングが、少数の例からの迅速な適応を可能にする自己回帰的密度モデルに効果的に適用できるか？
• RQ3 アテンションとメタラーニングを組み合わせることで、単独で用いる場合よりも少数の例からの密度推定において性能が向上するか？
• RQ4 高視覚的変動と複雑な背景を有する実世界の自然画像データセットにおいて、モデルの一般化性能はどの程度高いか？
• RQ5 アテンション重みは、ミラー画像や筆跡の複製といった直感的で人間らしい画像生成アルゴリズムをどの程度反映しているか？

主な発見

• Attention PixelCNNは、4つのサポート例を用いて、Omniglotで最先端の尤度を達成し、テストNLLは0.066 nats/pixelであった。
• 生成時に関連する領域に注目する能力が、アテンションヒートマップが顕著な特徴と一致することから裏付けられている。
• Stanford Online Productsデータセットでは、ベースラインと比較して、アテンションモデルは類似した尤度スコアでもよりリアルなサンプルを生成し、テクスチャや色の整合性に優れている。
• Stanford Online Productsにおける尤度は、ベースラインPixelCNNが2.15 nats/dim、Attention PixelCNNが2.14 nats/dimであり、定量的な向上は限定的だが、質的改善は顕著である。
• Meta PixelCNNもOmniglotで最先端の尤度（0.068 nats/pixel）を達成しており、勾配ベースのメタラーニングが密度推定に有効であることが示された。
• 可視化分析から、アテンション機構が明示的な教師信号なしに、ミラー画像の生成や筆跡パターンの複製といった直感的な戦略を学習していることが明らかになった。