[論文レビュー] Improving Generalization for Abstract Reasoning Tasks Using Disentangled Feature Representations

Xander Steenbrugge, Sam Leroux+2 more|ArXiv.org|Nov 12, 2018

Topic Modeling参考文献 9被引用数 38

ひとこと要約

本論文では、抽象的推論タスクにおけるピクセル入力から構造的な潜在空間を学習するために、分離可能なβ-VAEを提案し、WReNモデルにおける教師ありCNNエンコーダーを置き換える。βを段階的に増加させることで、分離性と再構成のバランスをとる訓練により、特に分布外の問題において優れた一般化性能を達成し、教師ありWReNを最大21.6%上回る性能を示した。

ABSTRACT

In this work we explore the generalization characteristics of unsupervised representation learning by leveraging disentangled VAE's to learn a useful latent space on a set of relational reasoning problems derived from Raven Progressive Matrices. We show that the latent representations, learned by unsupervised training using the right objective function, significantly outperform the same architectures trained with purely supervised learning, especially when it comes to generalization.

研究の動機と目的

• 教師なしピクセルデータから分離可能な潜在表現を学習することで、抽象的推論タスクにおける一般化性能を向上させること。
• β-VAEを用いて学習した分離可能な表現が、純粋に教師あり学習を上回る関係性推論を可能にするかどうかを調査すること。
• β-VAE目的関数におけるβの値の変化が、手続き的推論タスクにおける一般化性能に与える影響を評価すること。
• 分離可能な潜在空間が、WReNアーキテクチャにおける関係性推論問題をより扱いやすくするかどうかを特定すること。

提案手法

• PGMデータセットを用いて、修正されたELBO目的関数で訓練された分離可能なβ-VAEエンコーダーを、WReNモデルの教師ありCNNエンコーダーに置き換える。
• 最初に視覚的詳細を捉えるためにβ = 0.5から始め、次第にβ = 4.0に増加させる可変βトレーニング方式を採用する。
• 事前学習済みのVAEエンコーダーを固定し、WReNモデルを64次元の潜在ベクトルを入力として初期化する。これは512次元のCNN特徴量の代わりである。
• エンコーダーを固定した状態で6エポック学習し、その後2エポックにわたりエンドツーエンドで微調整することで、潜在空間に適応させる。
• [1]と同一のWReNアーキテクチャとトレーニングプロトコルを用いるが、入力表現（VAE埋め込み vs. ラフなCNN特徴量）を除き、差異はない。
• 推論時に事後分布の平均を用いることで、潜在表現の決定的復元を保証する。

実験結果

リサーチクエスチョン

• RQ1 分離可能な表現学習は、純粋に教師あり学習と比較して、抽象的推論タスクにおける一般化性能を向上させるか？
• RQ2 β-VAE目的関数におけるβの選択が、潜在空間における再構成品質と分離性のトレードオフに与える影響はいかほどか？
• RQ3 分離可能な潜在空間は、学習中に見られなかった分布外の推論問題において、より優れた性能をもたらすか？
• RQ4 VAEによる教師なし事前学習は、WReNモデルの関係性推論のためのインダクティブバイアスを向上させるか？

主な発見

• β = 4.0のVAE-WReNモデルは、ニュートラルな一般化レジームで64.2%のテスト精度を達成し、CNN-WReNベースラインの62.6%を上回った。
• 最も困難な一般化レジーム（H.O. トリプル）では、VAE-WReNモデルが24.6%のテスト精度を示し、CNN-WReNモデルの19.0%を上回り、相対的に29.5%の改善を達成した。
• VAE-WReNモデルは、すべての一般化レジームで一貫した向上を示し、特にH.O. アトリビュートペアレジームで21.6%の絶対的改善（36.8% vs. 27.2%）を達成した。
• 潜在空間の可視化により、形状、色、オブジェクトの有無といった主要な生成要因が明確に分離されていることが確認され、個々の次元に沿った滑らかな補間効果も観察された。
• バリデーションセットでも、VAE-WReNモデルは64.8%（ベースライン63.0%）と優れた性能を示し、分布内性能の向上も確認された。
• Cohen’s Kappaスコアも改善を裏付け、VAE-WReNモデルはニュートラルテストセットで0.591を達成し、ベースラインの0.573を上回った。