[논문 리뷰] Discourse-Aware Neural Rewards for Coherent Text Generation

Antoine Bosselut, Aslı Çelikyılmaz외 4명|arXiv (Cornell University)|2018. 05. 10.

Topic Modeling참고 문헌 34인용 수 7

한 줄 요약

이 논문은 강화학습을 통해 장문 텍스트 생성의 일관성 향상을 위해 절차 인식 신경 보상 기반의 두 가지 유형의 신경 교사—절대 순서 및 상대 순서—를 제안한다. 요리법의 문장 순서 패턴을 평가하도록 교사를 훈련시킴으로써, 이 방법은 교차 엔트로피나 표준 강화학습 기준보다 더 일관되고 반복적이지 않은 텍스트를 생성한다.

ABSTRACT

In this paper, we investigate the use of discourse-aware rewards with reinforcement learning to guide a model to generate long, coherent text. In particular, we propose to learn neural rewards to model cross-sentence ordering as a means to approximate desired discourse structure. Empirical results demonstrate that a generator trained with the learned reward produces more coherent and less repetitive text than models trained with cross-entropy or with reinforcement learning with commonly used scores as rewards.

연구 동기 및 목표

• 높은 n-그램 겹침 점수를 기록함에도 불구하고 장문 텍스트를 일관되게 생성하지 못하는 텍스트 생성 모델의 격차를 해소한다.
• BLEU나 ROUGE와 같은 자동 평가 지표의 한계를 극복한다. 이러한 지표들은 국소적 패턴에 집중하며 논리적 흐름을 잘 반영하지 못한다.
• 인간의 보상 레이블 없이도 생성자 모델이 전반적인 논리적 흐름을 학습할 수 있는 방법을 개발한다.
• 요리법의 스크립트 같은 시간적 패턴을 암묵적으로 학습하는 신경 교사를 사용하여 텍스트 생성 품질을 향상시킨다.
• 상대 순서 점수를 기반으로 문장 수준의 보상을 분배하여 정책 학습에서 보다 나은 보상 할당을 가능하게 한다.

제안 방법

• 절대 순서 교사를 훈련시어, GRU 기반 인코더와 단어 집합 문장 임베딩을 사용해 정방향 및 역방향 문장 시퀀스 간 유사도를 최소화한다.
• 상대 순서 교사를 훈련시어, 길이가 다른 부분 시퀀스(3~6문장)를 정방향과 역방향으로 비교함으로써 장거리 일관성을 포착한다.
• 두 교사의 출력을 생성자에 대한 조밀한 보상으로 사용하여 자기비판 강화학습 프레임워크를 구현한다.
• 보상 오용을 방지하기 위해 생성된 시퀀스를 정방향 및 역방향 정답 시퀀스와 비교하는 이중 패assing 보상 메커니즘을 설계한다.
• 안정성과 최적화 간 균형을 맞추기 위해 최대우도추정(MLE)과 정책 기반 강화학습을 조합한 혼합 훈련 목표를 구현하며, 계수 γ를 사용한다.
• 상대 순서 점수를 기반으로 문장 수준의 보상을 분배하여 보다 나은 보상 할당과 모델 학습 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 문장 순서 패턴을 모델링하는 신경 보상은 n-그램 기반 지표를 넘어서 장문 텍스트의 일관성을 향상시킬 수 있는가?
• RQ2 자동 평가 지표인 BLEU나 ROUGE를 사용하는 표준 강화학습과 비교해 볼 때, 비지도 논리적 흐름 인식 신경 교사의 성능은 어떠한가?
• RQ3 보상 함수에 정방향 및 역방향 시퀀스 비교를 모두 통합함으로써 보상 오용을 방지하고 정확도를 향상시킬 수 있는가?
• RQ4 ℓ_max 및 γ와 같은 하이퍼파rameter가 정책 최적화 생성자 성능에 미치는 영향은 어느 정도인가?
• RQ5 학습된 신경 교사들이 재료 준비, 조리 단계, 제공 단계와 같은 스크립트 같은 시간적 구조를 암묵적으로 포착할 수 있는가?

주요 결과

• 의사결정 기반 신경 보상으로 훈련된 생성자는 교차 엔트로피나 표준 강화학습으로 훈련된 모델보다 유의미하게 더 일관된 텍스트를 생성했다.
• 인간 평가 결과, 제안된 방법의 주요 향상 요소는 표면적 유창성 이상의 장거리 의미 일관성 향상임을 확인했다.
• ℓ_max = 6인 상대 순서 교사가 전반적인 일관성 지표에서 최고의 성능을 기록하여, 더 긴 범위의 맥락 모델링이 일관성 향상에 기여함을 시사했다.
• γ 값이 0.97일 때 MLE의 안정성과 정책 학습의 효과성 간 최적의 균형을 확보했으며, 낮은 값은 과소적합을, 높은 값은 언어 모델 품질 저하를 유도했다.
• 정방향 및 역방향 시퀀스를 모두 비교하는 이중 비교 방식은 보상 오용을 감소시켰으며, "Serve."나 "Here’s direction."와 같은 단순한 시퀀스에서 두드러진 효과를 보였다.
• 논리적 흐름을 측정하는 자동 평가 지표에서 강력한 기준 모델들을 능가함으로써, 인간의 일관성 판단과의 일치를 입증했다.