[논문 리뷰] Memory Augmented Policy Optimization for Program Synthesis with Generalization

Liang Chen, Mohammad Norouzi외 3명|arXiv (Cornell University)|2018. 07. 06.

Reinforcement Learning in Robotics참고 문헌 41인용 수 16

한 줄 요약

이 논문은 이산 동작을 갖는 결정론적 환경에서 분산을 줄이고 샘플 효율성을 향상시키기 위해 고보상 트레이젝터리의 메모리 버퍼를 사용하는 정책 그래เดียน트 방법인 메모리 증강 정책 최적화(MAPO)를 제안한다. MAPO는 프로그램 합성 벤치마크에서 최신 기술 성능을 달성하며, 위키테이블질문에서 46.2%의 정확도와 위키스컬에서 74.9%의 정확도를 기록하여, 전적으로 감독된 기준보다는 약한 감독만을 사용함에도 불구하고 슈퍼바이즈드 기준을 능가한다.

ABSTRACT

This paper presents Memory Augmented Policy Optimization (MAPO): a novel policy optimization formulation that incorporates a memory buffer of promising trajectories to reduce the variance of policy gradient estimates for deterministic environments with discrete actions. The formulation expresses the expected return objective as a weighted sum of two terms: an expectation over a memory of trajectories with high rewards, and a separate expectation over the trajectories outside the memory. We propose 3 techniques to make an efficient training algorithm for MAPO: (1) distributed sampling from inside and outside memory with an actor-learner architecture; (2) a marginal likelihood constraint over the memory to accelerate training; (3) systematic exploration to discover high reward trajectories. MAPO improves the sample efficiency and robustness of policy gradient, especially on tasks with a sparse reward. We evaluate MAPO on weakly supervised program synthesis from natural language with an emphasis on generalization. On the WikiTableQuestions benchmark we improve the state-of-the-art by 2.5%, achieving an accuracy of 46.2%, and on the WikiSQL benchmark, MAPO achieves an accuracy of 74.9% with only weak supervision, outperforming several strong baselines with full supervision. Our code is open sourced at this https URL

연구 동기 및 목표

• 희박한 보상이 존재하는 프로그램 합성 작업을 위한 정책 그래디언트 방법에서 샘플 비효율성과 높은 분산 문제를 해결한다.
• 고보상 트레이젝터리의 메모리를 활용하여 약한 감독 프로그램 합성에서 일반화 능력을 향상시킨다.
• 이산 동작을 갖는 결정론적 환경에서 유망한 트레이젝터리를 효율적으로 탐색하고 이용하는 학습 알고리즘을 개발한다.
• 비용이 많이 드는 전면 감독에 의존하지 않고도 프로그램 합성 벤치마크에서 뛰어난 성능을 달성한다.
• 메모리 기반 분산 감소와 체계적 탐색을 통해 정책 최적화의 강건성과 수렴 속도를 향상시킨다.

제안 방법

• 기대 수익을 고보상 트레이젝터리의 메모리 버퍼 내외의 트레이젝터리에 대한 기대값들의 가중합으로 공식화한다.
• 메모리 버퍼 내외에서의 효율적 샘플링을 위해 액터-러닝 아키텍처를 활용한 분산 샘플링을 구현한다.
• 고품질 트레이젝터리 분포를 유지함으로써 학습을 안정화하고 가속화하기 위해 메모리에 대한 마진널 가능도 제약 조건을 적용한다.
• 기존에 메모리에 포함되지 않은 고보상 트레이젝터리를 사전에 탐색하기 위해 체계적 탐색 전략을 통합한다.
• 메모리 기반 목표를 통합한 결정론적 정책 그래디언트 프레임워크를 사용하여 분산을 줄이고 학습 안정성을 향상시킨다.
• 트레이젝터리 수익에 기반하여 업데이트되는 동적 메모리 버퍼를 유지하며, 높은 성능을 보이는 시퀀스를 우선순위로 한다.

실험 결과

연구 질문

• RQ1 메모리 증강 정책 최적화는 희박한 보상이 존재하는 프로그램 합성에서 분산을 줄이고 샘플 효율성을 향상시킬 수 있는가?
• RQ2 고보상 트레이젝터리의 메모리를 통합할 경우, 약한 감독 프로그램 합성에서 일반화 능력에 어떤 영향을 미치는가?
• RQ3 프로그램 합성 작업에서 전적으로 감독된 기준보다는 약한 감독만을 사용할 경우, MAPO는 어느 정도 뛰어난 성능을 낼 수 있는가?
• RQ4 체계적 탐색은 희박한 보상 환경에서 고보상 트레이젝터리를 발견하는 데 어떤 영향을 미치는가?
• RQ5 메모리 버퍼에 대한 마진널 가능도 제약 조건은 학습 수렴과 안정성에 어떤 영향을 미치는가?

주요 결과

• MAPO는 위키테이블질문 벤치마크에서 기존 최신 기술보다 2.5% 향상된 46.2%의 최신 기술 정확도를 달성한다.
• 위키스컬 벤치마크에서는 전적으로 감독된 기준에 비해 성능이 뛰어난 몇몇 강력한 기준보다도 높은 74.9%의 정확도를 기록하며, 오직 약한 감독만을 사용한다.
• 메모리 증강 목표는 정책 그래디언트의 분산을 크게 줄여주어, 희박한 보상 환경에서 더 안정적이고 효율적인 학습을 가능하게 한다.
• 체계적 탐색은 특히 초기 학습 단계에서 고보상 트레이젝터리를 더 효과적으로 탐색할 수 있도록 한다.
• 메모리 버퍼에 대한 마진널 가능도 제약 조건은 성능을 손상시키지 않은 채 수렴 속도를 가속화하고 샘플 효율성을 향상시킨다.
• MAPO는 강력한 일반화 능력을 보이며, 프로그램 합성 작업에서 예측할 수 없는 테스트 인스턴스로도 효과적으로 일반화된다.