[논문 리뷰] Political Speech Generation

Valentin Kassarnig|arXiv (Cornell University)|2016. 01. 13.

Topic Modeling참고 문헌 14인용 수 9

한 줄 요약

이 논문은 특정 미국 정당과 특정 입장을(지지 또는 반대) 가진 정치적으로 일관된, 문법적으로 올바른 연설을 생성하는 하이브리드 NLP 시스템을 제시한다. 이 시스템은 의회 토론 녹취록을 기반으로 훈련된 n-gram, RNN, 그리고 POS 필터링된 병렬어(콜로케이션)를 적용한 LDA를 활용한 주제 모델과 언어 모델을 조합하여, 평가 결과 문법적 품질과 문장 흐름이 높은 편이지만 주제 일관성은 여전히 도전 과제로 남아 있다.

ABSTRACT

In this report we present a system that can generate political speeches for a desired political party. Furthermore, the system allows to specify whether a speech should hold a supportive or opposing opinion. The system relies on a combination of several state-of-the-art NLP methods which are discussed in this report. These include n-grams, Justeson & Katz POS tag filter, recurrent neural networks, and latent Dirichlet allocation. Sequences of words are generated based on probabilities obtained from two underlying models: A language model takes care of the grammatical correctness while a topic model aims for textual consistency. Both models were trained on the Convote dataset which contains transcripts from US congressional floor debates. Furthermore, we present a manual and an automated approach to evaluate the quality of generated speeches. In an experimental evaluation generated speeches have shown very high quality in terms of grammatical correctness and sentence transitions.

연구 동기 및 목표

• 특정 미국 정당과 특정 입장(지지 또는 반대)에 맞는 정치적으로 일관된 연설을 생성할 수 있는 시스템을 개발하는 것.
• NLP 기법을 활용해 생성된 정치적 연설의 문법적 정확성과 구조적 유창성을 향상시키는 것.
• 수동 및 자동 평가 지표를 통해 생성된 연설의 품질을 평가하고, 문법, 흐름, 주제 일관성에 중점을 두는 것.
• 실제 입법 토론 데이터를 기반으로 언어 모델과 주제 모델을 융합해 정치적 연설 생성의 가능성을 탐색하는 것.

제안 방법

• 문법 정확성을 향상시키기 위해 n-gram, 순환 신경망(RNN), 그리고 Justeson & Katz(J&K) 품사 품질(tag) 필터를 활용한 언어 모델을 훈련시켰다.
• 정치적 주제를 모델링하고 텍스트 일관성을 확보하기 위해 POS 필터링된 이항어 및 삼항어를 적용한 잠재 디리클레 분할(LDA)을 사용했다.
• 언어 모델과 주제 모델을 조합하기 위해 두 모델의 공동 확률을 기반으로 시퀀스를 생성함으로써 유창성과 주제 관련성을 균형 잡는 방식을 채택했다.
• 두 모델의 훈련 코퍼스로 미국 의회 본회의 토론 녹취록을 포함한 Convote 데이터셋을 사용했다.
• 자동 평가 파이프라인을 구현: 문장의 품사 시퀀스를 일치시켜 문법적 이상 징후를 탐지하고, 생성된 연설과 실제 연설 간의 주제 분포를 비교했다.
• 수동 평가를 위해 문법 정확성, 문장 전환, 연설 구조, 내용 일관성 등을 평가하는 12점 척도를 도입했다.

실험 결과

연구 질문

• RQ1 하이브리드 NLP 시스템은 정치적으로 일관되며 문법적으로 정확하고 구조적으로 탄탄한 연설을 생성할 수 있는가?
• RQ2 n-gram과 POS 필터링된 병렬어가 기준 모델 대비 생성된 정치적 연설의 품질을 얼마나 향상시키는가?
• RQ3 주제 모델(LDA에 병합어 필터링 적용)은 생성된 연설에서 주제 일관성을 얼마나 잘 유지하는가?
• RQ4 수동 평가와 자동 평가 방법은 생성된 정치적 연설의 품질 평가에서 어떻게 비교되는가?
• RQ5 현재 NLP 기술로는 일관되고 의미 있는 정치적 내용을 갖춘 연설을 생성하는 데 있어 핵심적인 한계는 무엇인가?

주요 결과

• 수동 평가 평균 점수는 12점 만점에 8.1점으로, 평균적으로 문법 정확성과 문장 전환 점수는 각각 3점 만점에 2.3점이었다.
• 자동 평가 결과, 문법 정확성이 매우 높은 것으로 확인되었으며, 정규화된 척도에서 평균 점수 0.59를 기록해 뛰어난 유창성을 보였다.
• 주제 일관성은 가장 취약한 요소였으며, 수동 평가에서 평균 내용 점수는 3점 만점에 1.5점, 자동 평가 평균 점수는 0.48로 개선 여지가 있음을 시사했다.
• 수동 평가 점수가 높은 생성된 연설은 일반적으로 자동 평가 점수도 높게 나타나, 자동 평가 지표의 신뢰성과 타당성을 입증했다.
• J&K POS 필터링과 n-gram의 적용은 기준 LDA 대비 문법 품질 향상과 주제 모델 성능 향상에 뚜렷한 기여를 하였다.
• 유창성과 구조적 유창성에서 뛰어난 성능을 보였지만, 시스템은 일관되고 고도의 정치적 논리적 주장 구축에 어려움을 겪었으며, 이는 복잡한 이념적 추론을 모델링하는 데 현재 기술의 한계를 보여준다.