[論文レビュー] Towards a Neural Statistician

Harrison Edwards, Amos Storkey|arXiv (Cornell University)|Jun 7, 2016

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 154

ひとこと要約

本論文は変分オートエンコーダを拡張し、データセット内で共有される潜在コンテキスト c を用いてデータセットレベルの統計を学習する statistic network を導入する。これにより、データセット間で教師なし・データ効率的・few-shot 学習を実現する。

ABSTRACT

An efficient learner is one who reuses what they already know to tackle a new problem. For a machine learner, this means understanding the similarities amongst datasets. In order to do this, one must take seriously the idea of working with datasets, rather than datapoints, as the key objects to model. Towards this goal, we demonstrate an extension of a variational autoencoder that can learn a method for computing representations, or statistics, of datasets in an unsupervised fashion. The network is trained to produce statistics that encapsulate a generative model for each dataset. Hence the network enables efficient learning from new datasets for both unsupervised and supervised tasks. We show that we are able to learn statistics that can be used for: clustering datasets, transferring generative models to new datasets, selecting representative samples of datasets and classifying previously unseen classes. We refer to our model as a neural statistician, and by this we mean a neural network that can learn to compute summary statistics of datasets without supervision.

研究の動機と目的

• データセット自体を第一級オブジェクトとして表現することを動機づけ、転送性と学習効率を向上させる。
• 各データセットごとに生成モデルを定義するデータセットレベルの統計を計算する教師なしニューラル手法を開発する。
• 学習した統計量を介して、クラスタリング、データセットレベルの転送、代表的サンプリング、少数ショットのクラス処理を可能にする。
• データセット数とモデルサイズを切り離す、スケーラブルでパラメータ効率の高いアプローチを提供する。

提案手法

• データセット内のアイテム間で共有されるコンテキスト変数 c を用いて、変分オートエンコーダを拡張する。
• 並べ替え不変なプーリング層（例: 平均）を用いて、例の無順序集合 D を集約し c を生成する統計ネットワーク q(c|D;φ) を導入する。
• 潜在変数 z とスキップ接続を用いた階層的潜在構造で、柔軟な生成モデル p(x|z,c;θ) を形成する。
• 三部構成の変分限界 LD = RD + CD + LD を定義する。RD は再構成、CD はコンテキスト発散、LD は潜在発散。
• データセットのバッチ（データポイントではなく）上で訓練し、データセット全体で期待される LD を最大化する。
• q(z|x,c;φ) および q(c|D;φ) に対してアモルタイズドなフィードフォワード推論ネットワークを用い、勾配推定にはリパラメータ化トリックを用いる。）

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルは各データセットの生成過程を要約する意味のあるデータセットレベルの統計を学習できるか。
• RQ2 学習した統計量は、分布族ごとのデータセットのクラスタリング、データセット間転送、および未見クラスの少数ショット分類やサンプリングを可能にするか。
• RQ3 統計ネットワークはデータセットに条件づけて、データセット特有の生成モデルを生成・サンプルすることをサポートできるか。
• RQ4 データセットを単位としてモデル化することは、サンプル効率をどう改善し、データセット表現の教師なし学習をどう可能にするか。
• RQ5 階層的潜在構造とスキップ接続が、複雑なデータセット構造のモデリングに与える影響は何か。

主な発見

タスク	手法	テストデータセット	Kショット	Kウェイ	シアムゼ	MANN	マッチング	本手法
MNIST	1	10	70	-	72	78.6
MNIST	5	10		-		93.2
OMNIGLOT	1	5	97.3	82.8	98.1	98.1
OMNIGLOT	5	5	98.4	94.9	98.9	99.5
OMNIGLOT	1	20	88.1		93.8	93.2
OMNIGLOT	5	20	97.0		98.7	98.1

• モデルは、1-D の合成データセットを分布族でクラスタリングする統計量を学習し、クラスタ内で平均と分散の直交マッピングを持つ。
• 空間的MNISTでは、データセットに条件づけたサンプル生成と要約として意味のある部分集合選択を実行できる。
• OMNIGLOTとfew-shotタスクでは、5-wayタスクで競争力のある精度を達成し、1-shot/5-shot設定で強力な性能を示し、未見の文字や数字への転送を示す。
• Few-shot分類実験はニューラル・スタティシャンを強力なベースラインとして示し、特に5-wayタスクで優れているが、より大きな（20-way）タスクでは時に専門化されたマッチングネットワークに劣る。
• 本手法はYoutube Facesでfew-shot学習とデータセット条件付き生成を示し、生成サンプルで一貫した同一人物と多様なポーズを生み出す。