[論文レビュー] A Cross-Domain Transferable Neural Coherence Model

Peng Xu, Hamidreza Saghir+5 more|arXiv (Cornell University)|May 28, 2019

Topic Modeling参考文献 26被引用数 5

ひとこと要約

本稿では、全文ではなく隣接する文のペアに注目することで、効果的なネガティブサンプリングと強力なクロスドメイン一般化を可能にする、局所的判別型ニューラル一貫性モデルを提案する。判別型であるにもかかわらず、生成的事前学習を組み合わせることで、Wall Street Journal（WSJ）のようなドメイン内およびWikipediaのようなオープンドメインのベンチマークで優れた性能を達成する。

ABSTRACT

Coherence is an important aspect of text quality and is crucial for ensuring its readability. One important limitation of existing coherence models is that training on one domain does not easily generalize to unseen categories of text. Previous work advocates for generative models for cross-domain generalization, because for discriminative models, the space of incoherent sentence orderings to discriminate against during training is prohibitively large. In this work, we propose a local discriminative neural model with a much smaller negative sampling space that can efficiently learn against incorrect orderings. The proposed coherence model is simple in structure, yet it significantly outperforms previous state-of-art methods on a standard benchmark dataset on the Wall Street Journal corpus, as well as in multiple new challenging settings of transfer to unseen categories of discourse on Wikipedia articles.

研究の動機と目的

• 判別型一貫性モデルの低いクロスドメイン一般化性能を是正すること。これは、限られたネガティブサンプリングのため、特定のドメインに過学習しやすいことが原因である。
• 生成的モデルのみがドメイン間で良好に一般化できるという仮定に挑戦すること。本稿では、判別型モデルが同様の頑健性を達成できることを示す。
• 全パラメータの並べ替えから局所的文のペアにまでネガティブサンプリングの空間を縮小することで、判別学習の訓練効率とカバレッジを向上させること。
• エンティティや語彙的遷移といった局所的一貫性の手がかりが、グローバル一貫性の本質的要素を捉えられることを示すこと。
• Wikipediaの「再編集フラグ」をテキスト品質の代理指標として用い、モデルの予測と人間の判断との整合性を検証すること。

提案手法

• モデルは双方向トランスフォーマー・エンコーダーを用いて、隣接する文のペアを表現し、全文レベルのモデリングではなく局所的一貫性に注目する。
• 対照的学習の目的関数を採用。ポジティブペアは同じ文書からの連続する文のペアであり、ネガティブペアは2番目の文を同じ文書からの別の文に置き換えたものである。
• 文書長さの異なる文書に対して均一な訓練を確保するため、各文書が同じステップ数にわたって訓練されるように、文のペアを再サンプリングする。
• 大規模コーパス上でマスク言語モデル学習の目的関数を用いて事前学習することで、ドメイン間での一般化能力を強化する。
• 最終的な分類ヘッドは、対照的損失を用いて、対話的でない文のペアを識別するように、ダウンストリームの一貫性タスクでファインチューニングされる。
• アブレーションスタディーにより、双方向符号化と単純な連結とは対照的に、完全な特徴表現の重要性が確認された。

実験結果

リサーチクエスチョン

• RQ1 生成的事前学習に依存せずに、判別型一貫性モデルが強力なクロスドメイン一般化を達成できるか？
• RQ2 全文ではなく局所的文のペアをモデリングすることで、ネガティブサンプリングの空間を縮小しつつ、グローバル一貫性モデリングの能力を維持できるか？
• RQ3 生成的事前学習が、判別型局所的一貫性モデルの性能をどの程度向上させるか？
• RQ4 Wikipediaの「再編集フラグ」を用いた人間のテキスト品質判断と、モデルの一致度スコアがどの程度相関するか？
• RQ5 あるしきい値を超えるとネガティブサンプリングのカバレッジに限界が生じるか？現在のサンプリング方法は、効果的な訓練に十分か？

主な発見

• 提案された局所的判別型モデルは、CelestialBodyデータセットで81.31%、Wiki-WSJで82.23%の精度を達成し、先行するSOTA手法を顕著に上回った。
• Wall Street Journalベンチマークでは、前人最高の手法を上回り、強力なドメイン内性能を示した。
• モデルは強力なクロスドメイン一般化を示し、未学習のカテゴリに属するWikipedia記事に対しても、高い性能を発揮した。
• アブレーションスタディーにより、双方向符号化や完全な特徴表現を削除すると性能が低下し、これらの要素の重要性が確認された。
• モデルの一致度スコアは、Wikipediaの「再編集フラグ」と統計的に有意な相関を示した（p = 0.008）。典型的な長さ（2,000〜6,000文字）の記事では、マークされた記事の一致度が著しく低かった（0.56 vs. 0.79）。
• より長い記事（8,000〜14,000文字）では、一致度のギャップが小さくなった（0.60 vs. 0.64）が、有意差は認められなかった（p = 0.250）。これは、長文では部分的な不一致やスタイル要因が支配的になる可能性を示唆している。