[論文レビュー] Toward Extractive Summarization of Online Forum Discussions via Hierarchical Attention Networks

Sansiri Tarnpradab, Fei Liu+1 more|arXiv (Cornell University)|May 25, 2018

Topic Modeling被引用数 14

ひとこと要約

本稿では、単語と文のレベルでの注目メカニズムを用いて文およびスレッド表現を学習する階層的注目ネットワーク（HAN）を用いた、オンラインフォーラムスレッドの教師あり抽出要約手法を提案する。本手法は、新たにアノテートされた600件のスレッドから構成されるデータセットにおいて、ROUGEおよび文単位のメトリクスで複数のベースラインを上回り、冗長性除去が最先端の結果を達成するために不可欠であることが示された。

ABSTRACT

Forum threads are lengthy and rich in content. Concise thread summaries will benefit both newcomers seeking information and those who participate in the discussion. Few studies, however, have examined the task of forum thread summarization. In this work we make the first attempt to adapt the hierarchical attention networks for thread summarization. The model draws on the recent development of neural attention mechanisms to build sentence and thread representations and use them for summarization. Our results indicate that the proposed approach can outperform a range of competitive baselines. Further, a redundancy removal step is crucial for achieving outstanding results.

研究の動機と目的

• 限られたアノテート済みデータのため、フォーラムスレッド要約のための教師ありアプローチが不足しているという問題に対処すること。
• 階層的注目ネットワーク（HAN）を適応させ、抽出要約のための文レベルおよびスレッドレベルの表現をモデル化すること。
• スレッドの要約に関連する文を予測することができる教師ありフレームワークを構築すること。
• 要約品質の向上に寄与する冗長性除去の有効性を評価すること。
• 将来の研究のため、人間が作成した要約を含む600件のフォーラムスレッドから構成される新しいアノテート済みデータセットを作成・公開すること。

提案手法

• 各文を濃縮されたベクトルに変換するために、語彙レベルの注目を伴う双方向LSTMを用いる。この際、重要な語に注目を向ける。
• 文レベルの表現は、文レベルの注目メカニズムを用いて組み合わせられ、スレッドレベルの表現が形成される。
• 最終的な分類層は、学習されたスレッド表現を用いて、各文が要約に含めるべきかどうかを予測する。
• エンド・ツー・エンドで学習するために、交差エントロピー損失とRMSProp最適化、ドロップアウト正則化を用いる。
• 最終的な要約における重複または類似した文を削除するために、後処理として冗長性除去ステップを適用する。
• ROUGEおよび文単位のF1スコアを用いて、非教師あり（例：LexRank、MEAD）および教師あり（例：SVM、LogReg）のベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 階層的注目ネットワークは、フォーラムスレッドの構造を効果的にモデル化することで、抽出要約の性能を向上させることができるか？
• RQ2 提案されたHANベースのアプローチは、既存の非教師ありおよび教師あり要約手法と比較して、フォーラムスレッドにおいてどのように性能を発揮するか？
• RQ3 教師ありモデルにおいて、冗長性除去は要約性能にどのような影響を与えるか？
• RQ4 関連タスクで事前学習したHANモデルは、要約性能を向上させるか？
• RQ5 600件のフォーラムスレッドから構成される小規模で手作業でアノテートされたデータセットは、効果的な教師あり要約を支援できる程度に十分か？

主な発見

• HANモデルは、ROUGE-1およびROUGE-2スコアの両方で、すべての非教師ありベースラインおよび教師ありSVMおよびLogRegモデルを上回った。
• HANモデルは、従来の手法よりも高い適合率（precision）を達成しており、関連する文の選択がより優れていることを示している。
• 冗長性除去は、ROUGEおよび文単位のF1スコアの両方で再現率（recall）を顕著に向上させ、特にHANベースのモデルにおいて顕著であった。
• LogRegに冗長性除去を適用してもわずかな向上しか得られず、HANはその注目ベースの文選択によりこのステップからより大きな恩恵を受けることが示唆された。
• 関連タスクでHANモデルを事前学習しても性能向上が得られず、データ不足およびタスクの不一致が原因と考えられる。
• HANモデルは、教師あり手法の中で最先端の性能を達成しており、ROUGEスコアではMEADのみがHANを上回った。