[論文レビュー] Predicting the Quality of Short Narratives from Social Media

Tong Wang, Ping Chen+1 more|arXiv (Cornell University)|Jul 8, 2017

Topic Modeling参考文献 21被引用数 7

ひとこと要約

本稿では、SNSのいいね数を品質の代理指標として用いることで、短い物語的ナラティブの品質を予測するニューラルネットワークフレームワークを提案する。地域埋め込みモデルを導入し、テクストの断片間の相関関係を捉えることで、ランダムフォレストベースライン比で平均二乗誤差が18.10%削減され、自動的ナラティブ品質評価の強固なベンチマークを確立した。

ABSTRACT

An important and difficult challenge in building computational models for narratives is the automatic evaluation of narrative quality. Quality evaluation connects narrative understanding and generation as generation systems need to evaluate their own products. To circumvent difficulties in acquiring annotations, we employ upvotes in social media as an approximate measure for story quality. We collected 54,484 answers from a crowd-powered question-and-answer website, Quora, and then used active learning to build a classifier that labeled 28,320 answers as stories. To predict the number of upvotes without the use of social network features, we create neural networks that model textual regions and the interdependence among regions, which serve as strong benchmarks for future research. To our best knowledge, this is the first large-scale study for automatic evaluation of narrative quality.

研究の動機と目的

• 自動ナラティブ品質評価の課題に取り組むこと。これは、ナラティブ理解および生成システムの両者にとって極めて重要である。
• 人間によるアノテーションの高コストを回避するため、Quoraのいいね数を物語の品質の代理指標として用いること。
• ナラティブ品質評価のための、28,320件の物語的答えからなる大規模データセットを構築すること。
• 短いナラティブ内のテクスト的領域間の意味的相関関係を捉えるニューラルモデルを開発すること。
• 今後の自動ナラティブ品質予測分野における研究のための強力な計算的ベースラインを確立すること。

提案手法

• Quoraから54,484件の回答を収集し、アクティブラーニングを用いて28,320件を物語的ナラティブと分類した。
• テクスト的領域を埋め込み表現し、領域間の相関関係を再帰ユニット（LSTMまたはRNN）を用いてモデル化するニューラルモデルを提案した。
• 全文を処理する統合的リーダーモデルと、領域を順番に処理する逐次的リーダーモデルを設計した。
• 社会的ネットワークの特徴を除き、テキスト的特徴のみを用いてモデルを訓練することで、純粋に計算論的ナラティブ理解を実現した。
• 評価指標として平均二乗誤差（MSE）を用い、ランダムフォレストベースラインと比較した。
• 勾配クリッピングと隠れ状態のマックスプーリングを用いて、文書レベルの表現を生成した。

実験結果

リサーチクエスチョン

• RQ1 人間のアノテーションが得られない状況下で、SNSのいいね数はナラティブ品質の信頼できる代理指標として機能するか？
• RQ2 ニューラルネットワークは、短いナラティブ内のテクスト的領域間の相関関係を効果的にモデル化できるか？
• RQ3 異なるニューラルアーキテクチャ（例：RNN、LSTM、領域別 vs. 統合的リーダー）の相対的性能は、ナラティブのいいね数予測においてどうなるか？
• RQ4 質問文と回答文の両方が、ナラティブ品質予測にどの程度寄与するか？
• RQ5 純粋にテキスト特徴に基づくモデルは、ランダムフォレストのような従来のベースラインを上回ることができるか？

主な発見

• 領域間でLSTMを用いた統合的リーダーモデルが最良の性能を示し、ランダムフォレストベースライン比で平均二乗誤差が18.10%相対的に削減された。
• 単一ゲート付きRNNを用いた逐次的リーダーモデルが、LSTMを用いたバージョンを上回った。これは、単純なゲーティング機構がナラティブ領域の逐次的モデリングにおいてより効果的である可能性を示唆している。
• 質問文の追加により予測性能が著しく向上し、統合的モデルでは質問文と回答文の両方を使用することで18.10%の誤差削減が達成された。
• 26個の非テキスト的特徴のみを用いた場合、統合的モデルはランダムフォレストベースラインを下回った。これは、正確な予測にはテキスト的コンテンツが不可欠であることを示している。
• 再帰なしの領域埋め込みモデルでも、ランダムフォレストベースライン比で14.73%相対的に性能向上を達成した。これは、テキスト断片のモデリングが価値を持つことを示している。
• 最良のモデル（統合的 + LSTM）はMSE 0.4438を達成し、他のすべてのモデル、特に強力なランダムフォレストベースラインを上回った。