[論文レビュー] Learning to learn generative programs with Memoised Wake-Sleep

Luke Hewitt, Tuan Le+1 more|arXiv (Cornell University)|Jul 6, 2020

Artificial Intelligence in Games参考文献 25被引用数 4

ひとこと要約

本稿では、トレーニング中に発見された最良のプログラムをキャッシュして再利用することで、神経記号的生成モデルにおけるプログラム誘導を向上させる新規アルゴリズムであるメモライズド・ウェークスリープ（MWS）を提案する。有限のメモリに高品質な潜在的プログラムを保持することで、ストロークベースの文字認識、細胞オートマトン、および少サンプルの文字列概念学習といった構造的生成タスクにおける推論速度の向上と、学習効率・精度の向上が達成される。

ABSTRACT

We study a class of neuro-symbolic generative models in which neural networks are used both for inference and as priors over symbolic, data-generating programs. As generative models, these programs capture compositional structures in a naturally explainable form. To tackle the challenge of performing program induction as an 'inner-loop' to learning, we propose the Memoised Wake-Sleep (MWS) algorithm, which extends Wake Sleep by explicitly storing and reusing the best programs discovered by the inference network throughout training. We use MWS to learn accurate, explainable models in three challenging domains: stroke-based character modelling, cellular automata, and few-shot learning in a novel dataset of real-world string concepts.

研究の動機と目的

• 神経記号的生成モデルにおけるトレーニング中に繰り返し計算コストの高いプログラム誘導が発生する問題に取り組む。
• 象徴的かつ構成的プログラムを潜在変数として学習することで、一般化性能と解釈可能性を向上させる。
• 繰り返し高価な推論に依存するのを減らすために、事前に発見された高品質なプログラムを再利用するスケーラブルなトレーニングアルゴリズムを開発する。
• スパースで離散的な潜在空間を持つ構造的ドメインにおいて、プログラム事前分布とモデルパラメータの共同学習を可能にする。
• ストロークベースの文字生成、細胞オートマトン、および現実世界の文字列概念誘導を含む多様なドメインで有効性を実証する。

提案手法

• 各入力 $x_i$ に対して発見された上位 $K$ 個のプログラムの有限集合 $\mathcal{Z}_i$ を維持する、ウェークスリープアルゴリズムの拡張版であるメモライズド・ウェークスリープ（MWS）を導入する。
• 認識ネットワーク $r_\psi(z|x)$ を用いて候補プログラムを提案し、各トレーニングイテレーションでメモリ集合 $\mathcal{Z}_i$ を更新する。
• 変分下界を最適化する。ここで、変分分布 $Q_i(z_i)$ は $\mathcal{Z}_i$ にサポートを持つ。
• 生成モデル $p_\theta(z)p_\phi(x|z)$ と認識ネットワーク $r_\psi(z|x)$ を、キャッシュされたプログラムを効果的な推論ターゲットとして用いながら、交互に学習する。
• プログラム事前分布と連続的パラメータ（例：細胞オートマトンにおけるノイズレベル）のエンドツーエンド学習を可能にする。
• MWSを3つのドメインに適用する：ストロークベースの文字生成、潜在的規則を有する細胞オートマトン、および新規の少サンプル文字列概念データセット。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に高品質なプログラムをキャッシュすることで、神経記号的モデルにおける繰り返し発生するプログラム誘導の計算負荷を著しく軽減できるか？
• RQ2 標準的なウェークスリープおよび関連手法と比較して、MWSは象徴的生成プログラムの学習精度と収束速度を向上させるか？
• RQ3 MWSは、細胞オートマトンのような構造的ドメインにおいて、意味的で解釈可能なプログラム事前分布とモデルパラメータ（例：ノイズレベル）を効果的に学習できるか？
• RQ4 MWSは、最小限の例からの現実世界の文字列概念の少サンプル学習にどの程度一般化できるか？
• RQ5 MWSは、RWS や VIMCO といった最先端のベースラインと比較して、速度および精度の両面で優れているか？

主な発見

• MWSは合成プログラム誘導タスクにおいて、RWS や VIMCO よりも顕著に高い学習精度を達成し、難易度の高いタスクでは真のモデルとの距離を最大75％まで縮小した。
• 難易度の高いタスクにおいて、MWSは $K=10$ 時に真のモデルとの距離が 0.75 であったのに対し、VIMCO は 1.26、RWS は 2.43 であった。
• 細胞オートマトンドメインでは、MWSは真のノイズパラメータ $\epsilon$（2％）を非常に小さな誤差で正確に推定し、簡単なルールと難しいルールの両方のバージョンでベースラインを上回った。
• 1500個の少サンプル問題を含む新規の String-Concepts データセットにおいて、MWSは強力な少サンプル一般化性能を示し、最小限の例から現実世界の文字列パターン（日付、メールアドレスなど）を学習した。
• MWSは、ストロークベースのプログラム誘導の複雑さを考慮しても、文字生成タスクで21.8％の精度を達成し、最先端の性能と同等またはそれを上回った。
• MWSは、トレーニングステップ全体にわたる繰り返し高価な推論の必要性を低減することで、RWS や VIMCO よりも顕著な高速化を実現した。