[論文レビュー] Political Speech Generation

Valentin Kassarnig|arXiv (Cornell University)|Jan 13, 2016

Topic Modeling参考文献 14被引用数 9

ひとこと要約

本稿では、特定の米国政党および支持・反対の立場を想定した政治的に整合性があり文法的に正しいスピーチを生成するハイブリッドNLPシステムを提示する。このシステムは、議会討論のトランスクリプトを用いて訓練されたn-gram、RNN、およびLDA（部分的品詞（POS）フィルタ付きコロケーションを含む）を組み合わせた言語モデルとトピックモデルを採用し、評価において文法的品質と文の流れに優れた結果を得たが、トピックの一貫性は依然として課題である。

ABSTRACT

In this report we present a system that can generate political speeches for a desired political party. Furthermore, the system allows to specify whether a speech should hold a supportive or opposing opinion. The system relies on a combination of several state-of-the-art NLP methods which are discussed in this report. These include n-grams, Justeson & Katz POS tag filter, recurrent neural networks, and latent Dirichlet allocation. Sequences of words are generated based on probabilities obtained from two underlying models: A language model takes care of the grammatical correctness while a topic model aims for textual consistency. Both models were trained on the Convote dataset which contains transcripts from US congressional floor debates. Furthermore, we present a manual and an automated approach to evaluate the quality of generated speeches. In an experimental evaluation generated speeches have shown very high quality in terms of grammatical correctness and sentence transitions.

研究の動機と目的

• 特定の米国政党および意見立場（支持・反対）に適合した政治的に整合性のあるスピーチを生成するシステムを開発すること。
• NLP技術を用いて生成された政治的スピーチの文法的正しさと構造的整合性を向上させること。
• 文法、流れ、トピックの一貫性に注目した、手動および自動のメトリクスを用いて生成スピーチの品質を評価すること。
• 現実の立法的討論データを用いて、言語モデルとトピックモデルを統合する政治的スピーチ生成の可能性を検討すること。

提案手法

• 文法的正しさを向上させるために、n-gram、再帰的ニューラルネットワーク（RNN）、およびJusteson & Katz（J&K）の品詞（POS）タグフィルタを用いて言語モデルを訓練した。
• 政治的トピックのモデリングと文書の一貫性を確保するため、POSフィルタ付きのバイグラムおよびトライグラムを用いた潜在ディリクレ割り当て（LDA）を採用した。
• 両モデルの結合確率に基づいてシーケンスを生成することで、滑らかさとトピックの関連性の両立を図った。
• 両モデルのトレーニングコーパスとして、米国議会本会議での討論トランスクリプトから成るConvoteデータセットを用いた。
• 自動評価パイプラインを実装：文のPOSシーケンスの一致を用いて文法的異常を検出し、生成スピーチと実際のスピーチのトピック分布を比較した。
• 手動評価を実施し、文法的正しさ、文のつなぎ、スピーチ構造、内容の整合性を評価する12段階スケールを用いた。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドNLPシステムは、政治的に整合性があり文法的に正しい、構造的に整合性のあるスピーチを生成できるか？
• RQ2 n-gramとPOSフィルタ付きコロケーションは、ベースラインモデルと比較して、生成スピーチの品質をどの程度向上させるか？
• RQ3 コロケーションフィルタを施したLDA（トピックモデル）は、生成スピーチにおけるテーマの一貫性をどの程度維持できるか？
• RQ4 手動評価と自動評価の両手法は、生成スピーチの品質をどの程度同等に評価できるか？
• RQ5 現在のNLP技術では、一貫性があり意味のある政治的コンテンツを持つスピーチを生成する際に、どのような主な制限があるか？

主な発見

• 手動評価の平均スコアは12点満点で8.1点であり、文法的正しさと文のつなぎは平均で3点満点中2.3点を記録した。
• 自動評価により文法的正しさが高く確認され、正規化スケールで平均0.59のスコアを示し、高い文の流れ（fluency）を示した。
• トピックの一貫性が最も弱い側面であり、手動評価では平均3点満点中1.5点、自動評価では平均0.48のスコアを示し、改善の余地があることが明らかになった。
• 高い手動スコアを得た生成スピーチは一般的に高い自動スコアを示しており、自動評価メトリクスの信頼性が裏付けられた。
• J&KのPOSフィルタリングとn-gramの活用により、ベースラインLDAと比較して文法的品質とトピックモデルのパフォーマンスが顕著に向上した。
• 滑らかさと構造的整合性に優れた一方で、システムは一貫した高レベルの政治的議論を維持できず、複雑なイデオロギー的推論をモデル化する点に限界があることが示された。