[논문 리뷰] Memory Augmented Policy Optimization for Program Synthesis and Semantic Parsing

Liang Chen, Mohammad Norouzi외 3명|arXiv (Cornell University)|2018. 07. 06.

Parallel Computing and Optimization Techniques인용 수 99

한 줄 요약

MAPO는 고보상 경로의 기억 버퍼를 활용하여 그래디언트 분산을 줄이는 메모리 증강 정책 그래디언트 방법을 도입하고, 약하게 감독된 의미 파싱 작업에서 강력한 결과를 달성한다.

ABSTRACT

We present Memory Augmented Policy Optimization (MAPO), a simple and novel way to leverage a memory buffer of promising trajectories to reduce the variance of policy gradient estimate. MAPO is applicable to deterministic environments with discrete actions, such as structured prediction and combinatorial optimization tasks. We express the expected return objective as a weighted sum of two terms: an expectation over the high-reward trajectories inside the memory buffer, and a separate expectation over trajectories outside the buffer. To make an efficient algorithm of MAPO, we propose: (1) memory weight clipping to accelerate and stabilize training; (2) systematic exploration to discover high-reward trajectories; (3) distributed sampling from inside and outside of the memory buffer to scale up training. MAPO improves the sample efficiency and robustness of policy gradient, especially on tasks with sparse rewards. We evaluate MAPO on weakly supervised program synthesis from natural language (semantic parsing). On the WikiTableQuestions benchmark, we improve the state-of-the-art by 2.6%, achieving an accuracy of 46.3%. On the WikiSQL benchmark, MAPO achieves an accuracy of 74.9% with only weak supervision, outperforming several strong baselines with full supervision. Our source code is available at https://github.com/crazydonkey200/neural-symbolic-machines

연구 동기 및 목표

• 프로그래밍 합성과 같은 결정적이고 이산적 액션 환경에서의 높은 분산을 갖는 정책 그래디언트를 동기화하고 해결하는 것을 목표로 한다.
• 유망한 궤적의 메모리 버퍼를 활용하여 목표를 inside-buffer 기대값과 outside-buffer 기대값으로 분해한다.
• 훈련을 안정화하고 확장하기 위한 메커니즘(메모리 가중치 클리핑, 체계적인 탐색, 분산 샘플링)을 제안한다.
• 약하게 감독된 의미 파싱 벤치마크에서 MAPO를 평가하여 샘플 효율성과 로버스트성의 향상을 평가한다.

제안 방법

• 기대 보상을 두 항의 가중합으로 표현한다: inside-memory-buffer 기대값과 outside-memory-buffer 기대값.
• 전체 확률 pi_B를 가지는 메모리 버퍼 B를 정의하고 잔여 outside-buffer 확률은 1 - pi_B 이다.
• pi_B를 포함하는 그래디언트와 outside-buffer 샘플에서의 두 번째 그래디언트를 사용하고, pi_B를 가중치로 작용하게 한다 (Equation 7).
• cold-start 훈련을 안정화하기 위해 메모리 가중치 클리핑 pi_B^c = max(pi_B, alpha)를 도입한다 (Equation 8).
• 완전히 탐색된 접두사의 bloom-filter 기반 집합을 사용하여 고보상 궤적을 발견하기 위한 체계적 탐색을 구현한다 (Algorithm 1).
• 데이터 수집과 그래디언트 계산을 병렬화하기 위해 분산된 actor-learner 샘플링을 사용한다 (Algorithm 2).
• 버퍼 크기에 따라 inside-buffer 기대값의 정확한 열거 또는 샘플링에 의한 계층적 근사를 제공한다.
• 외부 기대값을 계산할 때 현재 정책에서 outside-buffer 궤적을 샘플링하기 위해 거절 샘플링을 사용한다.

실험 결과

연구 질문

• RQ1 메모리 기반 재생을 결정적이고 이산적 액션 도메인에 정책 그래디언트 방법에 통합하여 그래디언트 분산을 줄일 수 있는가?
• RQ2 메모리-버퍼 기대값 분해와 메모리 가중치 그래디언트를 결합하면 약하게 감독된 프로그램 합성에서 샘플 효율성이 향상되는가?
• RQ3 메모리 가중치 클리핑, 체계적 탐색, 분산 샘플링 같은 메커니즘이 MAPO의 학습을 확장성 있고 로버스트하게 만들어주는가?

주요 결과

• MAPO는 WikiTableQuestions에서 dev/test 정확도 42.7/43.8을 단일 실행으로 달성했고 ensembling 시 46.3를 달성했다(보고된 수치).
• MAPO는 약하게 감독된 WikiSQL에서 72.6의 테스트 정확도와 동일 벤치마크에서 앙상블로 74.9를 달성했다.
• ablation 연구에서 체계적 탐색(SE) 또는 메모리 가중치 클리핑(MWC)을 제거하면 성능이 크게 저하되었다.
• MAPO는 WikiTableQuestions와 WikiSQL에서 여러baselines를 능가했으며 전체 감독 학습 방법을 포함한다.
• 30개의 액터를 이용한 분산 샘플링은 샘플링 속도를 약 20배 빠르게 하여 확장 가능한 학습을 입증했다.
• MAPO는 기존 REINFORCE 및 기타 메모리 기반 접근법에 비해 강력한 로버스트성과 샘플 효율성을 보여주었다.