[論文レビュー] Neural Net Models for Open-Domain Discourse Coherence

Jiwei Li, Dan Jurafsky|arXiv (Cornell University)|Jun 5, 2016

Topic Modeling参考文献 62被引用数 17

ひとこと要約

本稿では、分類的および生成的アプローチを用いて一貫性のあるテキストを評価・生成する、ドメインに依存しないニューラルネットワークモデルを提案する。文の順序付けとテキスト生成の両方で、隠れ変数を備えたマルコフ連鎖構造を持つ新規な生成的モデルを導入し、オープンドメインの一貫性タスクにおいて最先端の性能を達成した。特に、完全な段落の再順序付けを含む、オープンドメインの一貫性タスクで顕著な成果を上げた。

ABSTRACT

Discourse coherence is strongly associated with text quality, making it important to natural language generation and understanding. Yet existing models of coherence focus on measuring individual aspects of coherence (lexical overlap, rhetorical structure, entity centering) in narrow domains. In this paper, we describe domain-independent neural models of discourse coherence that are capable of measuring multiple aspects of coherence in existing sentences and can maintain coherence while generating new sentences. We study both discriminative models that learn to distinguish coherent from incoherent discourse, and generative models that produce coherent text, including a novel neural latent-variable Markovian generative model that captures the latent discourse dependencies between sentences in a text. Our work achieves state-of-the-art performance on multiple coherence evaluations, and marks an initial step in generating coherent texts given discourse contexts.

研究の動機と目的

• オープンドメインのテキストにおいて、語彙的、参照的、時間的、因果的といった複数の話法的一貫性の側面を測定できるニューラルモデルの開発。
• 既存のモデルが狭いドメインに限定され、既存のテキストのスコアリングにとどまっているという限界を克服し、一貫性のある話法をエンドツーエンドで生成できる仕組みの構築。
• 文間の隠れた話法的依存関係を捉えるために、潜在変数を備えた生成的モデルの導入。これにより、生成されたテキストの一貫性が向上。
• 文のペアの順序付けを越えて、完全な段落の文の再順序付けを含む、挑戦的なオープンドメインタスクでのモデルの評価。
• 自然言語処理分野における、話法に配慮したテキスト生成および評価の今後の研究の基盤を提供すること。

提案手法

• 分類的モデルは、連続する文ペアのLSTMによる文埋め込みを用い、分類器に供給して一貫性のある話法と一貫性のない話法を区別する。不正例は、ランダムな文の置換によって生成される。
• 生成的モデルは、文間の話法的依存関係をモデル化するため、マーカフ連鎖として構造化されたニューラル潜在変数を備えたエンコーダデコーダフレームワークを採用する。
• 敵対的評価者として階層的ニューラルモデルを用い、人間が生成したテキストと機械が生成したテキストを区別することで、学習の安定性と一貫性を向上させる。
• 話法的構造を捉えるためにHMM-LDAトピックモデルとエンドツーエンドで構造化されたマーカフ連鎖型潜在変数を統合し、生成品質の向上を図る。
• 文の表現はLSTMによって学習され、単語埋め込みがK次元のベクトルにマッピングされ、最終的な隠れ状態が文レベルの表現として使用される。
• 一貫性スコアは、連結された文表現にフィードフォワードネットワークを適用し、シグモイド活性化関数を用いてスカラー出力として計算される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルは、狭いドメイン特化の設定を超えて、オープンドメインの一貫性タスクにおいて最先端の性能を達成できるか？
• RQ2 生成的モデルは、既存のテキストのスコアリングにとどまらず、新しいテキストを生成する際にも話法的一貫性を効果的に学習・維持できるか？
• RQ3 潜在変数モデルは、実体中心性、時間的順序、因果関係といった隠れた話法的依存関係をどれほど正確に捉えることができるか？
• RQ4 提案されたモデルは、完全な段落の文の再順序付けという挑戦的なタスクで、既存手法を上回る性能を示せるか？
• RQ5 モデルの一貫性スコアは、語彙的結束や参照的連続性といった洗練された話法的現象をどれほど的確に反映できるか？

主な発見

• 分類的モデルは、標準的なドメイン特化型の文ペア順序付けベンチマークで96%の精度を達成し、狭いドメインにおける強力な性能を示した。
• オープンドメインの設定では、広大な意味的空間における不正例のカバレッジが限られているため、分類的モデルの性能が低下した。
• マーカフ構造を持つ潜在変数を備えた生成的モデルは、生成されたテキストの一貫性を顕著に向上させ、ベースラインモデルを上回った。
• 大規模なオープンドメインの文順序付けタスクにおいて、モデルは最高の性能を達成した。特に、段落内のすべての文の正しい順序を再構築するタスクでも優れた結果を出した。
• 定性的な分析では、語彙的・参照的に一貫性のある文ペアに対してモデルがより高い一貫性スコアを割り当てており、一貫性のないまたは意味的に不一致なペアに対しては低いスコアを付与していることが確認された。
• 敵対的評価者では0.081の成功率を達成し、人間が生成した対話と機械が生成した対話を90%以上の精度で区別できた。これにより、モデルが人間と同等の一貫性を持つテキストを生成できていることが裏付けられた。