[論文レビュー] Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model

Wei Li, Jingjing Xu+4 more|arXiv (Cornell University)|Jun 4, 2019

Topic Modeling参考文献 29被引用数 9

ひとこと要約

本稿では、中国語のニュース記事からトピック相互作用グラフを構築することで、一貫性があり情報豊かなコメント生成を改善するグラフからシーケンスへのモデルを提案する。トピッククラスタとそれらの意味的関係をモデル化することで、新たに収集された200,000件の中国語ニュース-コメントコーパスにおいて、自然さ、一貫性、情報性の面で強力なベースラインを上回る性能を発揮する。

ABSTRACT

Automatic article commenting is helpful in encouraging user engagement and interaction on online news platforms. However, the news documents are usually too long for traditional encoder-decoder based models, which often results in general and irrelevant comments. In this paper, we propose to generate comments with a graph-to-sequence model that models the input news as a topic interaction graph. By organizing the article into graph structure, our model can better understand the internal structure of the article and the connection between topics, which makes it better able to understand the story. We collect and release a large scale news-comment corpus from a popular Chinese online news platform Tencent Kuaibao. Extensive experiment results show that our model can generate much more coherent and informative comments compared with several strong baseline models.

研究の動機と目的

• 長文の中国語ニュース記事に対する一貫性があり情報豊かなコメントを生成する課題に取り組む。これは、従来のシーケンスからシーケンスへのモデルが長さと意味的複雑さのため苦戦するためである。
• タイトルのみや短いテキスト入力の制限を克服する。これらは意味のあるコメント生成に十分な文脈を伝えることができない。
• グラフ表現を用いてニュース記事内の内部トピック構造とトピック間関係をモデル化することで、コメントの質を向上させる。
• タイトルとコンテンツを統合的に扱う共同モデリングアプローチを開発し、主な物語の核となるポイントをよりよく捉える。
• 今後の自動コメント生成研究を支援するため、大規模で現実世界の中国語ニュース-コメントコーパス（200,000件）を公開する。

提案手法

• 記事の内容とタイトルからトピック中心の文のクラスタを特定し、それらを頂点とするトピック相互作用グラフを構築する。
• 事前学習済みの文埋め込みを用いて対比較関係を計算し、トピッククラスタ間の意味的類似度に基づいて頂点間にエッジを定義する。
• タイトルを特別な頂点としてグラフに統合し、主なテーマを固定し、コメント生成を中心的な物語に導く。
• グラフ構造に注目できるグラフからシーケンスへのデコーダーを採用し、コメント生成中に関連するトピッククラスタに注目できるようにする。
• 名前付きエンティティやキーワードを入力から保持するため、ポインタジェネレータネットワークにコピーメカニズムを組み込み、事実の整合性を向上させる。
• 生成されたコメントシーケンスに対して交差エントロピー損失を用い、エンドツーエンドで学習し、推論にはビームサーチを用いる。

実験結果

リサーチクエスチョン

• RQ1 順序付きまたは階層的モデルと比較して、ニュース記事の内部トピック構造とトピック間関係をグラフ表現でよりよく捉えることができるか？
• RQ2 トピック相互作用グラフにタイトルを専用の頂点として統合することで、モデルが主な物語の核を特定する能力が向上するか？
• RQ3 グラフからシーケンスへのモデルは、シーケンスからシーケンスまたは階層的アテンションモデルよりも一貫性があり情報豊かなコメントを生成できるか？
• RQ4 モデルは、一般的なコメントや関係のない発言ではなく、重要な登場人物や出来事に特化したコメントをどれだけ適切に生成できるか？
• RQ5 グラフ構造のおかげで、モデルは世界知識に反するコメントやエンティティを誤認するようなコメントの生成をどれだけ効果的に回避できるか？

主な発見

• 提案されたグラフ2シーケンス（graph2seq）モデルは、すべてのベースラインと比較して、固有語数の増加と一般的なコメントの割合の低下という指標で、著しく高い情報性を示す。
• モデルは、85％の生成コメントが主要な登場人物や出来事に言及するなど、最も一貫性がありトピックに特化したコメントを生成する。これは、最良のベースラインの50％と比較して顕著な向上である。
• 人間による評価では、一貫性が12％向上し、最も強力なベースライン（自己アテンションモデル）と比較して、一般的なコメントの割合が20％削減された。
• 事例研究では、唯一グラフ2シーケンスモデルがニュース記事の主要な登場人物（王立坤）を正しく特定・参照しているのを確認した。他のモデルは失敗している。
• 自然さのスコアはベースラインと同等であり、グラフ構造が複雑化しても文法的品質が損なわれていないことを示している。
• 入力の順序が不規則であっても、モデルは依然として意味のあるコメントを生成できることから、入力の不整序に対して頑健であることが示された。