[논문 리뷰] Text Generation by Learning from Off-Policy Demonstrations.

Richard Yuanzhe Pang, He He|arXiv (Cornell University)|2020. 09. 16.

Topic Modeling참고 문헌 36인용 수 7

한 줄 요약

이 논문은 노출 편향을 완화하고 생성 품질을 향상시키기 위해 비동기 전문가 트레이젝터리를 활용하는 강화학습 프레임워크인 GOLD를 제안한다. 비상호작용 전문가 트레이젝터리에서 중요도 가중치를 사용하여 학습함으로써, 요약, 질의 생성, 기계 번역 분야에서 최신 기술 수준의 성능을 달성하며, 디코딩 전략과 더 긴 시퀀스에 대한 강건성도 향상시킨다.

ABSTRACT

Current approaches to text generation largely rely on autoregressive models and maximum likelihood estimation. This paradigm leads to (i) diverse but low-quality samples due to mismatched learning objective and evaluation metric (likelihood vs. quality) and (ii) exposure bias due to mismatched history distributions (gold vs. model-generated). To alleviate these problems, we frame text generation as a reinforcement learning (RL) problem with expert demonstrations (i.e., the training data), where the goal is to maximize quality given model-generated histories. Prior RL approaches to generation often face optimization issues due to the large action space and sparse reward. We propose GOLD (generation by off-policy learning from demonstrations): an algorithm that learns from the off-policy demonstrations by importance weighting and does not suffer from degenerative solutions. We find that GOLD outperforms the baselines according to automatic and human evaluation on summarization, question generation, and machine translation, including attaining state-of-the-art results for CNN/DailyMail summarization. Further, we show that models trained by GOLD are less sensitive to decoding algorithms and the generation quality does not degrade much as the length increases.

연구 동기 및 목표

• 자기회귀 텍스트 생성에서 학습 목표(최대우도)와 평가 지표(품질) 사이의 괴리 문제를 해결하기 위해.
• 학습 중 골드와 모델이 생성한 역사 간 분포 이탈로 인한 노출 편향을 줄이기 위해.
• 퇴화되는 해법을 유발하지 않고 비동기 전문가 트레이젝터리에서 효과적으로 학습할 수 있는 강화학습 방법을 개발하기 위해.
• 요약 및 기계 번역을 포함한 다양한 텍스트 생성 작업에서 생성 품질과 강건성을 향상시키기 위해.

제안 방법

• 전문가 트레이젝터리를 트레이젝터리로 사용하여 텍스트 생성을 강화학습 문제로 공식화한다.
• 비동기 전문가 트레이젝터리에서 학습할 때 분포 이탈을 보정하기 위해 중요도 가중치를 적용한다.
• 비평가 네트워크를 사용하여 상태가치 함수를 추정하고 정책 최적화를 안내한다.
• 학습 안정성을 향상시키기 위해 중요도 가중치를 적용한 수익을 사용하여 정책 그래디언트 방법으로 정책 네트워크를 훈련시킨다.
• 자동 평가 지표가 아닌 인간 평가의 품질과 일치하는 보상 모델을 사용한다.
• 기본적인 강화학습 접근 방식에서 흔히 발생하는 퇜력적 행동을 피하기 위해 훈련 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 최대우도 미사전 훈련을 초월하여 비동기 전문가 트레이젝터리를 효과적으로 활용해 텍스트 생성 품질을 향상시킬 수 있는가?
• RQ2 전문가 데이터가 모델이 생성한 시퀀스와 겹치지 않을 경우 중요도 가중치가 정책 학습에 어떻게 기여하는가?
• RQ3 제안된 방법이 디코딩 전략에 민감도를 줄이고 더 긴 시퀀스에서도 품질을 유지하는가?
• RQ4 CNN/DailyMail 요약 벤치마크와 같은 표준 텍스트 생성 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 자동 평가 및 인간 평가 모두에서 자기회귀 기반 베이스라인과 비교해 본다면, 이 방법은 어떻게 성능을 내는가?

주요 결과

• GOLD는 CNN/DailyMail 요약 벤치마크에서 최신 기술 수준의 성능을 달성하여 자동 평가 및 인간 평가 모두에서 이전 방법들을 능가한다.
• 시퀀스 길이가 증가할수록 생성 품질이 크게 떨어지는 것을 보이며, 베이스라인 대비 감소율이 낮아지는 경향을 보인다.
• GOLD로 훈련된 모델은 디코딩 하이퍼파라미터에 덜 민감하여 더 안정적이고 신뢰할 수 있는 생성 성능을 보인다.
• 인간 평가 결과, GOLD로 생성된 텍스트는 유창성, 일관성, 관련성 측면에서 베이스라인 대비 선호됨을 확인할 수 있다.
• 이 방법은 노출 편향을 효과적으로 완화하고, 학습 목표와 최종 품질 지표 간의 일치도 향상시킨다.
• 중요도 가중치는 비동기 전문가 트레이젝터리에서의 안정적인 학습을 가능하게 하여 표준 강화학습에서 흔히 발생하는 퇄화적 행동을 피한다.