[論文レビュー] Topic-Aware Neural Keyphrase Generation for Social Media Language

Yue Wang, Jing Li+4 more|arXiv (Cornell University)|Jun 10, 2019

Advanced Text Analysis Techniques参考文献 35被引用数 5

ひとこと要約

本稿では、非公式なソーシャルメディア言語におけるデータスパarsityを軽減し、最先端の性能を達成するため、潜在的トピックとキーフレーズの同時学習を行うトピックに配慮したニューラルキーフレーズ生成モデルを提案する。seq2seqフレームワークにトピックモデリングを統合することで、WeiboデータセットでF1@1が34.99%に達し、先行研究を2.98ポイント上回る。

ABSTRACT

A huge volume of user-generated content is daily produced on social media. To facilitate automatic language understanding, we study keyphrase prediction, distilling salient information from massive posts. While most existing methods extract words from source posts to form keyphrases, we propose a sequence-to-sequence (seq2seq) based neural keyphrase generation framework, enabling absent keyphrases to be created. Moreover, our model, being topic-aware, allows joint modeling of corpus-level latent topic representations, which helps alleviate the data sparsity that widely exhibited in social media language. Experiments on three datasets collected from English and Chinese social media platforms show that our model significantly outperforms both extraction and generation models that do not exploit latent topics. Further discussions show that our model learns meaningful topics, which interprets its superiority in social media keyphrase generation.

研究の動機と目的

• キーフレーズにソース投稿に存在しない語が含まれるなど、ノイズが多く非公式なソーシャルメディアテキストにおけるキーフレーズ予測の課題に対処すること。
• キーフレーズ生成とコーパスレベルの潜在的トピックを同時にモデリングすることで、ソーシャルメディア言語におけるデータスパarsityを克服すること。
• ニューラルトピックモデリングとシーケンス・トゥ・シーケンス生成を統合したエンド・ツー・エンドで学習可能なフレームワークを構築すること。
• 潜在的トピックが、ソーシャルメディアで一般的な存在しない語を含むキーフレーズの生成をどのように向上させるかを検証すること。

提案手法

• キーフレーズを入力テキストに明示的に存在しない形でも生成できるようにするため、キーフレーズ生成を目的としたシーケンス・トゥ・シーケンス（seq2seq）ニューラルネットワークを提案する。
• 潜在的トピックが注意メカニズムとデコーダーの隠れ状態を両方ともガイドする、トピックに配慮したアテンションおよびトピックに配慮した隠れ状態を導入する。
• エンド・ツー・エンドで学習可能なニューラルトピックモデル（NTM）を用いて、トピック表現と生成モデルを同時に学習する。
• OoV語（語彙外語）を保持するためのコピーメカニズムを採用し、生成とコピーモードを統合することで、耐障害性を向上させる。
• キーフレーズ生成損失とトピックモデリング損失を統合した共同最適化目的関数を適用する。
• 投稿間での語の共起パターンを活用して、関連するキーフレーズを示唆する潜在的トピックを推定する。

実験結果

リサーチクエスチョン

• RQ1 潜在的トピックの共同モデリングは、高いデータスパarsityを示すソーシャルメディアテキストにおけるキーフレーズ生成性能を向上させることができるか？
• RQ2 トピックに配慮したアテンションおよび隠れ状態を組み込むことで、標準的なseq2seqモデルと比較して一般化性能が向上するか？
• RQ3 潜在的トピックは、ソース投稿に存在しない語を含むキーフレーズを特定するのにどの程度有効か？
• RQ4 モデルは、実際のキーフレーズの意味論と整合性のある解釈可能で意味のあるトピックを学習するか？
• RQ5 トピックに配慮した生成モデルは、抽出ベースおよびトピックに配慮しない生成モデルと比較して、ソーシャルメディアデータセットでどの程度優れた性能を示すか？

主な発見

• 提案モデルはTwitterデータセットでF1@1が38.49%を達成し、最も強力なベースライン（Seq2Seq-Copy）を1.89ポイント上回った。
• WeiboデータセットではF1@1が34.99%に達し、最先端の生成モデル（32.01%）を2.98ポイント上回った。
• アブレーションスタディの結果、トピックに配慮したアテンションとトピックに配慮した隠れ状態の両方が性能向上に寄与していることが確認され、完全なモデルが最良の結果を達成した。
• モデルは意味のある潜在的トピックを学習しており、たとえば「super bowl」のようなトピックには「yellow」「pants」「steeler」「packer」などの関連語が含まれており、強い意味的整合性が示された。
• 事例スタディでは、モデルが「yellow」と「pants」のようなトピック関連語に注目することで「super bowl」を正しく予測している一方、ベースラインモデルは誤って「team follow back」と生成している。
• ソーシャルメディアでは、存在しない語を含むキーフレーズの割合が高く、語順が任意であるため、トピックモデリングの恩恵は、公式な科学的論文よりも顕著に現れる。