[논문 리뷰] An Actor-Critic Algorithm for Sequence Prediction

Dzmitry Bahdanau, Philémon Brakel외 6명|arXiv (Cornell University)|2016. 07. 24.

Multimodal Machine Learning Applications참고 문헌 40인용 수 224

한 줄 요약

논문은 시퀀스 생성 모델 학습을 위한 actor-critic 프레임워크를 도입합니다. 여기서 비평가는 토큰 값을 예측하여 BLEU 같은 테스트 시점 지표를 개선하고, 철자 수정과 기계 번역 작업에서 MLE 및 REINFORCE를 능가합니다.

ABSTRACT

We present an approach to training neural networks to generate sequences using actor-critic methods from reinforcement learning (RL). Current log-likelihood training methods are limited by the discrepancy between their training and testing modes, as models must generate tokens conditioned on their previous guesses rather than the ground-truth tokens. We address this problem by introducing a extit{critic} network that is trained to predict the value of an output token, given the policy of an extit{actor} network. This results in a training procedure that is much closer to the test phase, and allows us to directly optimize for a task-specific score such as BLEU. Crucially, since we leverage these techniques in the supervised learning setting rather than the traditional RL setting, we condition the critic network on the ground-truth output. We show that our method leads to improved performance on both a synthetic task, and for German-English machine translation. Our analysis paves the way for such methods to be applied in natural language generation tasks, such as machine translation, caption generation, and dialogue modelling.

연구 동기 및 목표

• 시퀀스 모델의 학습 동기를 로그 가능도뿐 아니라 과제별 점수를 최적화하도록 유도한다.
• 모델이 생성한 접두어를 조건으로 학습하여 훈련-테스트 불일치를 해결한다.
• 현재 정책하에서 각 토큰의 가치를 예측하는 비평가 네트워크를 도입한다.
• 철자 수정과 기계 번역 작업에서 표준 MLE 및 REINFORCE에 비해 향상을 입증한다.

제안 방법

• 시퀀스 생성을 행위자(디코더)와 비평가를 갖는 확률 정책으로 형식화한다.
• 부분 시퀀스와 후보 동작(토큰)에 대한 값 함수 V와 Q를 정의한다.
• 시간 차(target TD) 목표로 비평가를 학습시키고 타깃 네트워크 및 지연된 행위자를 사용해 안정화한다.
• Q 추정치를 포함한 편향되지 않은 추정치를 가진 정책 그래디언트를 사용하고, 선택적으로 로그 가능도 그래디언트 항을 더한다.
• 중간 피드백을 제공하고 희박 보상을 줄이기 위해 보상 형상을 적용한다.
• 공동 actor-critic 학습 전에 행위자와 비평가를 모두 사전 학습시켜 학습을 부트스트랩한다.

실험 결과

연구 질문

• RQ1 액터-크리틱 학습이 MLE 및 REINFORCE에 비해 BLEU와 같은 작업별 시퀀스 점수를 개선할 수 있는가?
• RQ2 크리틱에 실제 정답 정보를 도입하는 것이 테스트 시점에 이를 사용하지 않고도 학습을 돕는가?
• RQ3 시퀀스 예측의 안정성과 성능을 위해 어떤 학습 요령(타깃 네트워크, 보상 형상화, 가치 페널티)이 필수적인가?
• RQ4 합성 철자 수정 및 실제 MT 데이터셋(IWSLT, WMT)에서 기준선과 비교해 방법의 성능은 어떤가?

주요 결과

• 액터-크리틱 학습이 로그 가능도 학습에 비해 철자 수정에서 개선을 보인다.
• IWSLT 2014 및 WMT14 MT 작업에서 액터-크리틱 방법은 기준선 대비 BLEU 이득을 달성하며, 탐욕적 디코딩에서 특히 이득이 크고 빔 탐색과도 여전히 경쟁력이 있다.
• 타깃 네트워크와 비평가 출력의 분산 페널티를 사용하는 것이 안정적인 학습과 더 나은 성능에 결정적이다.
• 보상 형상화와 지연된 행위자가 추가 성능 향상을 가져온다.
• 이 방법은 MIXER와 같은 기존 RL 기반 방법들과 비교해 강한 또는 비슷한 기준선에서 경쟁력 있거나 우수한 결과를 달성한다.