[논문 리뷰] A Theoretical Analysis of the Repetition Problem in Text Generation

Zihao Fu, Wai Lam외 2명|arXiv (Cornell University)|2020. 12. 29.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 텍스트 생성에서 반복 문제를 분석하기 위한 이론적 프레임워크를 제안하며, '높은 유입 단어'(다수의 다른 단어들에 의해 예측되는 단어)가 그 근본 원인임을 규명한다. 평균 반복 확률(Average Repetition Probability, ARP)을 도입하고 상한을 유도하여, 기존의 샘플링 방법이 이러한 상한을 최소화함으로써 반복을 줄인다는 것을 보여준다. 저자들은 또한 고유입 단어 쌍을 통합하는 재균형 인코딩 방법을 제안하여 기계 번역 및 언어 모델링 작업에서 반복을 크게 감소시켰다.

ABSTRACT

Text generation tasks, including translation, summarization, language models, and etc. see rapid growth during recent years. Despite the remarkable achievements, the repetition problem has been observed in nearly all text generation models undermining the generation performance extensively. To solve the repetition problem, many methods have been proposed, but there is no existing theoretical analysis to show why this problem happens and how it is resolved. In this paper, we propose a new framework for theoretical analysis for the repetition problem. We first define the Average Repetition Probability (ARP) to characterize the repetition problem quantitatively. Then, we conduct an extensive analysis of the Markov generation model and derive several upper bounds of the average repetition probability with intuitive understanding. We show that most of the existing methods are essentially minimizing the upper bounds explicitly or implicitly. Grounded on our theory, we show that the repetition problem is, unfortunately, caused by the traits of our language itself. One major reason is attributed to the fact that there exist too many words predicting the same word as the subsequent word with high probability. Consequently, it is easy to go back to that word and form repetitions and we dub it as the high inflow problem. Furthermore, we derive a concentration bound of the average repetition probability for a general generation model. Finally, based on the theoretical upper bounds, we propose a novel rebalanced encoding approach to alleviate the high inflow problem. The experimental results show that our theoretical framework is applicable in general generation models and our proposed rebalanced encoding approach alleviates the repetition problem significantly. The source code of this paper can be obtained from https://github.com/fuzihaofzh/repetition-problem-nlg.

연구 동기 및 목표

• 기존 이론으로는 설명되지 않는 신경 텍스트 생성에서의 반복 문제의 근본 원인을 규명하는 것.
• 반복 현상을 특성화하기 위한 정량적 측정법인 평균 반복 확률(Average Repetition Probability, ARP)을 개발하는 것.
• 마르코프 및 일반 생성 모델에 대한 이론적 분석을 수행하고, ARP에 대한 상한을 도출하여 기존 샘플링 방법의 효과성을 설명하는 것.
• 고유입 단어 쌍을 줄이기 위해 고안된 새로운 재균형 인코딩 접근법을 제안하여 반복 문제를 완화하는 것.
• 신경 기계 번역 및 언어 모델링 작업 전반에서 이론과 방법을 실증적으로 검증하는 것.

제안 방법

• 텍스트 생성에서의 반복 현상을 측정하기 위한 정량적 지표로 평균 반복 확률(Average Repetition Probability, ARP)을 정의하는 것.
• 마르코프 생성 모델을 분석하여 ARP에 대한 이론적 상한을 유도하고, 이를 모델 행동과 샘플링 전략과 연결하는 것.
• 다수의 단어들이 높은 확률로 동일한 단어를 예측하는 '고유입 문제'(high inflow problem)가 반복의 주요 원인임을 규명하는 것.
• ARP에 대한 농도 경계를 사용하여 일반 생성 모델로의 분석를 확장하여, 마르코프 체인 외부로도 이론적 적용 가능성을 보장하는 것.
• 고유입 단어 쌍을 단일 토큰으로 통합하여 그 집합적 영향을 줄이기 위한 재균형 인코딩 방법을 제안하는 것.
• 재균형 인코딩 방법을 신경 기계 번역 및 언어 모델링 작업에 적용하여 표준 샘플링 기법과 성능을 비교하는 것.

실험 결과

연구 질문

• RQ1 아키텍처와 훈련 기법의 급격한 발전에도 불구하고 다양한 텍스트 생성 모델에서 반복 문제가 지속되는 이유는 무엇인가?
• RQ2 Top-k 및 핵심 샘플링과 같은 기존 샘플링 방법이 반복을 줄이는 데 효과적인 이론적 근거는 무엇인가?
• RQ3 시퀀스 생성 모델에서 반복 문제는 어떻게 공식적으로 특성화되고 상한을 구할 수 있는가?
• RQ4 반복 문제의 정도가 인간 언어의 본질적 특성, 특히 어순 패턴에 기인하는 정도는 어느 정도인가?
• RQ5 모델 아키텍처를 변경하지 않고 입력 표현의 구조적 수정(재균형화)이 반복 문제를 효과적으로 줄일 수 있는가?

주요 결과

• 반복 문제의 근본 원인은 인간 언어의 언어학적 구조에 기인하며, 특히 많은 전후 단어들이 높은 확률로 동일한 단어를 예측하는 '고유입 단어'의 흔함에 기인한다.
• 대부분의 기존 샘플링 방법들(Top-k, 핵심 샘플링 등)은 ARP에 대한 이론적 상한을 암묵적으로 최소화함으로써 그 효과성을 보여준다.
• 제안된 재균형 인코딩 방법은 고유입 단어 쌍을 단일 토큰으로 통합함으로써 ARP를 감소시켜 반복 현상을 명백히 줄이는 데 성공했다.
• 기계 번역 작업에서는, 기준 및 샘플링 방법과 비교해 동일한 BLEU 성능 수준에서 가장 낮은 반복 점수를 기록했다.
• 언어 모델링 작업에서는 반복과 퍼플렉서티 사이의 최적 균형을 달성하여 온도 조정, Top-k, 핵심 샘플링을 모두 능가하는 성능을 보였다.
• 실증적 검증을 통해 이론적 ARP와 관측된 반복 지표 사이에 강한 정적 상관관계가 확인되어 ARP 측정법의 잘 정의된 성격을 확인했다.