[논문 리뷰] Textual Data Distributions: Kullback Leibler Textual Distributions Contrasts on GPT-2 Generated Texts, with Supervised, Unsupervised Learning on Vaccine & Market Topics & Sentiment

Jim Samuel, Ratnakar Palle외 1명|arXiv (Cornell University)|2021. 06. 15.

Topic Modeling인용 수 2

한 줄 요약

이 논문은 주제와 감성에 따라 기계로 생성된 텍스트 데이터 분포와 실제 세계의 텍스트 데이터 분포 간의 정렬을 평가하기 위해 Kullback-Leibler 발산 기반의 새로운 방법인 KL-Textual Distributions Contrasts (KL-TDC)를 제안한다. 미세조정된 GPT-2를 사용해 텍스트를 생성하고, 백신 및 주식 시장 토론을 다룬 토터 데이터에 대해 지도/비지도 학습을 수행한 결과, KL-TDC는 분포 유사성을 효과적으로 측정함으로써 NLP 연구 및 응용 분야에서 제어 가능하고 고해상도의 합성 텍스트 데이터 생성을 가능하게 한다.

ABSTRACT

Efficient textual data distributions (TDD) alignment and generation are open research problems in textual analytics and NLP. It is presently difficult to parsimoniously and methodologically confirm that two or more natural language datasets belong to similar distributions, and to identify the extent to which textual data possess alignment. This study focuses on addressing a segment of the broader problem described above by applying multiple supervised and unsupervised machine learning (ML) methods to explore the behavior of TDD by (i) topical alignment, and (ii) by sentiment alignment. Furthermore we use multiple text generation methods including fine-tuned GPT-2, to generate text by topic and by sentiment. Finally we develop a unique process driven variation of Kullback-Leibler divergence (KLD) application to TDD, named KL Textual Distributions Contrasts(KL-TDC) to identify the alignment of machine generated textual corpora with naturally occurring textual corpora. This study thus identifies a unique approach for generating and validating TDD by topic and sentiment, which can be used to help address sparse data problems and other research, practice and classroom situations in need of artificially generated topic or sentiment aligned textual data.

연구 동기 및 목표

• 기계로 생성된 텍스트가 주제와 감성에 따라 실제 세계의 텍스트 데이터 분포와 일치하는지 검증하는 데 있어 열려 있는 과제를 해결하기 위해.
• 통제 가능한 주제적 및 감성적 분포를 가진 합성 텍스트 데이터를 생성하기 위한 체계적인 방법을 개발하기 위해.
• 실제 텍스트와 생성된 텍스트 간의 분포 정렬 정도를 측정하기 위한 새로운 지표인 KL-Textual Distributions Contrasts (KL-TDC)를 제안하고 평가하기 위해.
• 이 접근 방식이 데이터 부족 문제를 해결하고 NLP 연구, 교육, 행동 금융 응용 분야를 지원하는 데 유용함을 보여주기 위해.

제안 방법

• 지정된 주제(백신, 시장)와 감성(긍정, 부정, 중립)에 맞게 미세조정된 GPT-2를 사용해 합성 텍스트를 생성한다.
• 사전 처리된 토터 데이터에 대해 지도 및 비지도 기계 학습 모델을 훈련시켜 주제와 감성을 분류한다.
• 실제 및 생성된 코퍼스 간의 단어 또는 토큰 빈도 분포를 비교하기 위해 Kullback-Leibler 발산(KLD)의 수정된 형태를 적용한다.
• KL-TDC 지표는 실제 텍스트 데이터의 분포와 생성된 데이터의 분포 간의 발산을 정량화하여, 정렬 정도를 검증하는 점수로 기능한다.
• 세 가지 수준의 텍스트 생성 기법을 사용한다: 직접적 확률 모델링, RNN/LSTM 기반의 반구조적 생성, GPT-2 기반의 구조적 생성.
• 사전 지식으로 주제와 감성 분포를 활용하여 생성 과정을 이끌고 평가한다.

실험 결과

연구 질문

• RQ1 GPT-2는 실제 세계의 토터 데이터 분포의 주제와 감성 측면에서 얼마나 잘 일치하는 텍스트를 생성할 수 있는가?
• RQ2 제안된 KL-TDC 지표는 실제 텍스트와 생성된 텍스트 간의 분포 정렬 정도를 얼마나 효과적으로 측정하는가?
• RQ3 키워드가 포함된 경우, 지도 학습 모델과 비지도 학습 모델은 훈련 데이터의 잠재적 주제 및 감성 분포를 정확히 분류하고 반영할 수 있는가?
• RQ4 키워드의 포함 여부가 분류 및 생성 모델의 성능에 어떤 영향을 미치는가?
• RQ5 KL-TDC 프레임워크는 백신 및 시장 논의 외의 다른 주제와 언어적 맥락으로 일반화될 수 있는가?

주요 결과

• KL-TDC 지표는 실제 텍스트와 생성된 텍스트 간의 분포 정렬 정도를 성공적으로 정량화하여 합성 데이터 품질에 대한 신뢰할 수 있는 검증 메커니즘을 제공하였다.
• 미세조정된 GPT-2로 생성된 텍스트는 낮은 KL-TDC 점수로 확인된 바와 같이 주제 및 감성 측면에서 실제 세계의 분포와 강한 정렬을 보였다.
• 키워드가 포함된 경우 지도 학습 방법이 비지도 학습 방법보다 높은 분류 정확도를 기록하여, 명시적 지도 학습이 모델 성능 향상에 기여함을 시사하였다.
• 비지도 학습 방법은 레이블 없는 데이터에서 미묘한 의미 패턴을 식별하는 데 한계가 있음을 시사하며, 주제 및 감성 분포를 중간 정도로 포착하는 데 성공하였다.
• 연구는 GPT-2와 KL-TDC를 활용해 통제 가능하고 분포가 일치하는 텍스트 생성이 가능함을 확인하였으며, NLP 분야의 데이터 증강에 대해 확장 가능한 솔루션을 제공한다.
• 이 프레임워크는 희소 도메인 및 교육적 용도의 합성 데이터 생성을 지원하여 대규모 실제 세계 데이터셋에 대한 의존도를 감소시킨다.