[논문 리뷰] Text Generation by Learning from Demonstrations

Richard Yuanzhe Pang, He He|arXiv (Cornell University)|2020. 09. 16.

Topic Modeling참고 문헌 60인용 수 5

한 줄 요약

이 논문은 참조(예시) 시퀀스를 이용해 중요도 가중치를 적용함으로써 생성 품질을 향상시키는 오프라인 강화학습 방법인 GOLD(Generation by Off-policy Learning from Demonstrations)을 제안한다. 품질 기반 보상으로 인간 평가와 훈련을 정렬함으로써 노출 편향을 감소시키고, 요약, 질의 생성, 기계 번역 등 다양한 작업에서 MLE 및 정책 그래디언트 방법보다 자동 평가 지표와 인간 평가 모두에서 뛰어난 성능을 발휘한다.

ABSTRACT

Current approaches to text generation largely rely on autoregressive models and maximum likelihood estimation. This paradigm leads to (i) diverse but low-quality samples due to mismatched learning objective and evaluation metric (likelihood vs. quality) and (ii) exposure bias due to mismatched history distributions (gold vs. model-generated). To alleviate these problems, we frame text generation as an offline reinforcement learning (RL) problem with expert demonstrations (i.e., the reference), where the goal is to maximize quality given model-generated histories. We propose GOLD (generation by off-policy learning from demonstrations): an easy-to-optimize algorithm that learns from the demonstrations by importance weighting. Intuitively, GOLD upweights confident tokens and downweights unconfident ones in the reference during training, avoiding optimization issues faced by prior RL approaches that rely on online data collection. According to both automatic and human evaluation, models trained by GOLD outperform those trained by MLE and policy gradient on summarization, question generation, and machine translation. Further, our models are less sensitive to decoding algorithms and alleviate exposure bias.

연구 동기 및 목표

• 텍스트 생성에서 훈련 목표(최대우도)와 평가 지표(인간 평가 품질) 간의 괴리 문제를 해결하기 위해.
• 골드 프리픽스로 훈련하면서 모델 생성 프리픽스로 추론함으로써 발생하는 노출 편향을 완화하기 위해.
• 온라인 상호작용 없이 전문가 예시로부터 학습함으로써 생성 품질을 향상시키기 위해.
• 이전의 강화학습 기반 텍스트 생성 접근법에서 발생하는 최적화 문제를 피하는 안정적인 오프정책 강화학습 방법을 개발하기 위해.
• 디코딩 전략에 대해 강건하고 길이 관련 열화에 덜 민감한 모델을 만들기 위해.

제안 방법

• 참조 시퀀스를 전문가 예시로 사용하여 텍스트 생성을 오프라인 강화학습 문제로 공식화한다.
• 모델의 신뢰도에 따라 훈련 예시를 재가중하는 중요도 가중치를 적용한 오프정책 정책 그래디언트를 적용한다.
• 인간이 각 토큰을 생성할 가능성을 추정함으로써 시퀀스 품질에 대한 인간 판단을 근사하는 보상 함수를 사용한다.
• 모델 생성 히스토리에 의해 유도되는 트레이젝터리에 대해 기대 보상을 최대화하도록 생성자를 훈련시킨다.
• 참조 시퀀스에서 고신뢰도 토큰은 강조하고 저신뢰도 토큰은 경감하는 방식으로 중요도 가중치를 적용한다.
• 요약, 질의 생성, 번역 작업에 대해 트랜스포머 기반 모델에 통합하여 엔드 투 엔드 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 전문가 예시로부터의 오프라인 강화학습이 최대우도 추정을 초월해 텍스트 생성 품질을 향상시킬 수 있는가?
• RQ2 제안된 방법이 노출 편향을 줄이고 디코딩 전략에 대한 강건성을 향상시키는가?
• RQ3 오프정책 강화학습에서의 중요도 가중치가 온라인 정책 그래디언트 방법에 비해 훈련을 안정화하고 성능을 향상시키는가?
• RQ4 다양한 텍스트 생성 작업에서 인간 평가 품질과 자동 평가 지표 모두에서 이 방법이 얼마나 향상되는가?
• RQ5 오류 누적로 인한 열화를 피하기 위해 모델이 긴 생성 길이에서도 높은 품질을 유지하는가?

주요 결과

• GOLD는 요약, 질의 생성, 기계 번역 등 다양한 작업에서 자동 평가 지표(BLEU, ROUGE)와 인간 평가 모두에서 MLE 및 정책 그래디언트 미세조정보다 뛰어난 성능을 보였다.
• 인간 대조 평가에서 GOLD가 생성한 질문 중 44.3%가 MLE가 생성한 것보다 더 낫게 평가되었으며, MLE는 23.0%에 그쳤고, 32.8%는 동점이었다.
• 인간 평가 결과, GOLD가 생성한 요약은 MLE가 생성한 것보다 기준 요약에 더 가까웠으며, 특히 의미 충실도 측면에서 뚜렷한 우수성을 보였다.
• GOLD 모델는 디코딩 알고리즘에 대해 덜 민감하여 강건성이 향상됨을 보였다.
• 이 방법은 노출 편향을 완화하여 생성 길이가 길어질수록 일관된 출력 품질을 유지함을 확인했다.
• 중요도 가중치는 훈련을 효과적으로 안정화시키고 고신뢰도 참조 토큰에 집중함으로써 샘플 효율성을 향상시켰다.