[論文レビュー] Memory Augmented Policy Optimization for Program Synthesis and Semantic Parsing

Liang Chen, Mohammad Norouzi+3 more|arXiv (Cornell University)|Jul 6, 2018

Parallel Computing and Optimization Techniques被引用数 99

ひとこと要約

MAPO は高報酬軌跡のメモリバッファを用いたメモリ強化ポリシー勾配法を導入し、勾配の分散を減らす。弱教師ありセマンティックパーシングタスクで強力な結果を達成。

ABSTRACT

We present Memory Augmented Policy Optimization (MAPO), a simple and novel way to leverage a memory buffer of promising trajectories to reduce the variance of policy gradient estimate. MAPO is applicable to deterministic environments with discrete actions, such as structured prediction and combinatorial optimization tasks. We express the expected return objective as a weighted sum of two terms: an expectation over the high-reward trajectories inside the memory buffer, and a separate expectation over trajectories outside the buffer. To make an efficient algorithm of MAPO, we propose: (1) memory weight clipping to accelerate and stabilize training; (2) systematic exploration to discover high-reward trajectories; (3) distributed sampling from inside and outside of the memory buffer to scale up training. MAPO improves the sample efficiency and robustness of policy gradient, especially on tasks with sparse rewards. We evaluate MAPO on weakly supervised program synthesis from natural language (semantic parsing). On the WikiTableQuestions benchmark, we improve the state-of-the-art by 2.6%, achieving an accuracy of 46.3%. On the WikiSQL benchmark, MAPO achieves an accuracy of 74.9% with only weak supervision, outperforming several strong baselines with full supervision. Our source code is available at https://github.com/crazydonkey200/neural-symbolic-machines

研究の動機と目的

• プログラム合成のような決定論的で離散的行動を取る設定における高分散なポリシー勾配を動機づけ、対処する。
• 有望な軌跡のメモリバッファを活用して、目的関数をinside-bufferとoutside-bufferの期待値に分解する。
• 学習を安定化・拡張するための仕組み（memory weight clipping、systematic exploration、distributed sampling）を提案する。
• サンプル効率とロバスト性の改善を評価するため、MAPOを弱教師ありセマンティックパーシングのベンチマークで評価する。

提案手法

• 期待報酬を2つの項の加重和として表現する：inside-memory-buffer期待値とoutside-memory-buffer期待値。
• メモリバッファ B を、総確率 pi_B と残余 outside-buffer 確率 1 - pi_B で定義する。
• pi_B を含む勾配と outside-buffer サンプルからの第2の勾配を用い、pi_B を重みとして機能させる（Equation 7）。
• cold-start 学習を安定化させるために memory weight clipping pi_B^c = max(pi_B, alpha) を導入する（Equation 8）。
• bloom-filter ベースの完全探索済みプレフィックス集合を用いて高報酬トラジェクトリを発見する体系的探索を実装する（Algorithm 1）。
• データ収集と勾配計算を並列化するために分散アクター-学習者サンプリングを採用する（Algorithm 2）。
• バッファサイズに応じて inside-buffer 期待値の正確な列挙または層別近似を提供する。
• outside expectation を計算する際、現在のポリシーから outside-buffer 軌跡をリジェクションサンプリングでサンプルする。

実験結果

リサーチクエスチョン

• RQ1 決定論的で離散的アクション領域における勾配分散を低減するために、メモリベースのリプレイをポリシー勾配法に統合するにはどうすればよいか？
• RQ2 inside-buffer と outside-buffer の期待値の体系的分解とメモリウェイト勾配の組み合わせが、弱教師ありプログラム合成のサンプル効率を改善できるか？
• RQ3 memory weight clipping、systematic exploration、distributed sampling のようなメカニズムは、MAPO のセマンティックパーシングのベンチマーク全体でスケーラブルでロバストな学習をもたらすか？

主な発見

• MAPO は WikiTableQuestions で単一実行時に dev/test 精度 42.7/43.8 を達成し、アンサンブル時には 46.3 となった（報告通り）。
• 弱教師ありで WikiSQL のテスト精度 72.6、同ベンチマークでアンサンブル時 74.9。
• アブレーションにより systematic exploration (SE) または memory weight clipping (MWC) を除くと性能が大幅に低下。
• MAPO は WikiTableQuestions と WikiSQL の両方で複数のベースラインを上回り、完全監視で訓練された手法を含む。
• 30アクターの分散サンプリングによりサンプリングが約20倍速くなり、スケーラブルな学習を示した。
• MAPO は従来の REINFORCE および他のメモリベース手法に対して、堅牢性とサンプル効率の点で優れている。