[논문 리뷰] Improving Language Generation with Sentence Coherence Objective

Ruixiao Sun, Jie Yang외 1명|arXiv (Cornell University)|2020. 09. 07.

Topic Modeling참고 문헌 9인용 수 4

한 줄 요약

이 논문은 GPT-2 기반의 일관성 분류기 학습과 REINFORCE를 사용한 강화학습 목표 함수를 통한 언어모델 공학습을 통해 조건부 텍스트 생성에서 주제 일관성을 향상시키기 위한 이단계 방법을 제안한다. 이 방법은 장문 생성에서 주제 이탈을 크게 줄이지만, 약간의 어휘 유창성 손실을 동반한다.

ABSTRACT

Conditional story generation and contextual text continuation have become increasingly popular topics in NLP community. Existing models are often prone to output paragraphs of texts that gradually diverge from the given prompt. Although the generated text may have a reasonable perplexity and diversity, it could easily be identified by human as gibberish. The goal of our project is to improve the coherence and consistency across sentences in a language-generation model. We aim to solve this issue by first training a sentence pair coherence classifier with GPT-2 pretrained model, and then co-train the GPT-2 language model with this new coherence objective using a method analogous to the REINFORCE algorithm. This fine-tuned language model is able to generate lengthy paragraph conditioned on a given topic without diverging too much. The simplicity of this model allows it to be applicable to a variety of underlying language model architecture since it only modifies the final layer of the pre-trained model.

연구 동기 및 목표

• 자기회귀 모델인 GPT-2와 같은 모델이 프롬프트에서 渐진적으로 벗어나는 주제 이탈 문제를 해결하기 위해.
• 기본 언어모델 아키텍처를 수정하지 않고도 생성된 텍스트와 입력 프롬프트 간의 일관성을 향상시키기 위해.
• 사전학습된 모델에 강화학습을 통해 통합할 수 있는 학습 가능한 가벼운 일관성 목표 함수를 개발하기 위해.
• 미세조정된 일관성 목표 함수가 장문 생성 일관성 향상에 기여하는지 평가하기 위해.

제안 방법

• GPT-2 모델을 문장 쌍의 일관성 예측을 위해 이진 분류 작업으로 미세조정하여, 문단 내 인접한 문장 쌍 대비 무작위 문장 쌍을 구분한다.
• 미세조정된 GPT-2의 [CLS] 토큰 표현을 일관성 예측을 위한 문장 임베딩으로 사용한다.
• 문장 임베딩 위에 로지스틱 회귀 헤드를 추가하여 두 문장이 같은 문단에 속하는지 여부를 예측한다.
• REINFORCE 알고리즘을 사용하여 일관성 목표 함수를 최적화하는 강화학습 목표를 통합해 GPT-2 언어모델을 공학습한다. 이는 생성된 텍스트와 프롬프트 간의 일관성을 극대화하기 위함이다.
• 두 번째 학습 에포크 이후 활성화되는 일관성 분류기 출력 기반의 가중치 부여 보조 손실을 도입하여 학습 안정성을 향상시킨다.
• 생성 과정에서 일관성 목표를 적용하여, 분류기의 점수를 기반으로 다음 단어 예측이 프롬프트의 주제와 일치하도록 유도한다.

실험 결과

연구 질문

• RQ1 미세조정된 GPT-2 모델이 문장 간 주제 일치를 탐지하는 데 효과적인 문장 일관성 분류기로 기능할 수 있는가?
• RQ2 REINFORCE로 최적화된 일관성 목표 함수를 언어모델과 함께 공학습하면 장문 조건부 생성에서 주제 이탈을 줄일 수 있는가?
• RQ3 일관성 목표 함수를 포함했을 때 표준 GPT-2와 비교해 생성 텍스트의 유창성과 자연스러움은 어떻게 영향을 받는가?
• RQ4 이 일관성 목표 함수는 아키텍처 변경을 최소화하고도 어떤 사전학습된 트랜스포머 모델에나 적용할 수 있는가?
• RQ5 학습 스케줄(예: 일관성 목표 함수의 지연 적용)이 수렴성과 성능에 어떤 영향을 미치는가?

주요 결과

• 일관성 분류기는 테스트 세트에서 94.21%의 정확도를 기록했으며, 인간 수준 성능(92%)에 가까워졌고, 크로스 어텐션 기반 베이스라인(94.52%)을 초월했다.
• 공학습된 모델은 시간이 지남에 따라 일관성 손실이 감소하는 경향을 보였으며, 노이즈가 많은 기울기에도 불구하고 REINFORCE 알고리즘이 효과적으로 최적화되었음을 시사한다.
• 검증 세트에서의 퍼플렉서티는 15로 수렴하여 안정적인 언어모델링 성능을 유지함을 나타낸다.
• 공학습된 모델에서 생성된 텍스트는 표준 GPT-2보다 훨씬 뛰어난 주제 일관성을 보였으며, 장문에 걸쳐 프롬프트에서의 이탈이 감소했다.
• 선형 투영보다 비선형 변환을 통한 프롬프트 임베딩 처리가 더 우수한 성능을 보였으며, 선형 투영은 극단적으로 반복적인 출력을 유도했다.
• 원래 GPT-2와 비교해 약간의 유창성과 어휘 선택, 문법적 자연스러움 손실을 감수하면서도 강력한 일관성을 유지했다.