[論文レビュー] A Hierarchical End-to-End Model for Jointly Improving Text Summarization and Sentiment Classification

Shuming Ma, Xu Sun+2 more|arXiv (Cornell University)|May 3, 2018

Topic Modeling参考文献 10被引用数 5

ひとこと要約

この論文では、生成されたテキスト要約の上位レベルの「要約」として感情分類を構造化することで、要約生成と感情分類を同時に学習する階層的エンドツーエンドのディープラーニングモデルを提案する。マルチビュー注意機構を用いてタスク間で表現を共有し、手動で作成した特徴量に依存せずに両タスクの性能が向上し、特にAmazonレビューデータセットで顕著な向上が得られた。

ABSTRACT

Text summarization and sentiment classification both aim to capture the main ideas of the text but at different levels. Text summarization is to describe the text within a few sentences, while sentiment classification can be regarded as a special type of summarization which "summarizes" the text into a even more abstract fashion, i.e., a sentiment class. Based on this idea, we propose a hierarchical end-to-end model for joint learning of text summarization and sentiment classification, where the sentiment classification label is treated as the further "summarization" of the text summarization output. Hence, the sentiment classification layer is put upon the text summarization layer, and a hierarchical structure is derived. Experimental results on Amazon online reviews datasets show that our model achieves better performance than the strong baseline systems on both abstractive summarization and sentiment classification.

研究の動機と目的

• 要約生成と感情分類を別々に学習するという限界を是正する。これは、相互監視の欠如により性能が最適でないことが多いからである。
• 感情分類を上位レベルの要約タスクとして統合し、感情ラベルを要約の圧縮形として扱う。
• 要約と感情分類の両方を、階層的で共有された表現を通じて向上させ、一貫性と関連性を高める。
• 手動で作成した特徴量に依存しないエンドツーエンドで学習可能なフレームワークを設計することで、特徴量依存を排除する。
• 要約生成と感情分類の間で相互監視が、両タスクの性能向上に寄与することを示す。

提案手法

• モデルは、テキスト要約層とその後に続く感情分類層からなる階層的アーキテクチャを採用しており、感情予測は生成された要約に基づく。
• 共有エンコーダ出力から、要約と感情分類のための異なる文脈表現を生成するためのマルチビュー注意機構を導入した。
• エンコーダは入力テキストを双方向LSTMを用いて処理し、文脈的な単語表現を生成する。
• デコーダはエンコーダの状態を注意メカニズムで参照しながら、自己回帰的に要約を生成し、OOV語を扱うためにポインタジェネレータ機構を用いる。
• 感情分類器は、デコーダの最終隠れ状態に対して最大プーリング層を適用し、多層パーセプトロンを介して感情予測を出力する。
• 全体の損失関数は、要約生成と感情分類の両方の交差エントロピー損失を組み合わせており、共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 感情分類を上位レベルの要約タスクとして扱うことで、要約生成と感情分類の両方の性能が向上するか？
• RQ2 共有表現を用いた階層的共同学習は、独立した学習と比較してモデル性能にどのように影響するか？
• RQ3 手動特徴量を一切使用しない状況で、マルチビュー注意機構が二重タスクの表現学習にどの程度向上をもたらすか？
• RQ4 要約部は感情監視から恩恵を受け、逆に感情分類部は要約の監視から恩恵を受けるか？
• RQ5 エンドツーエンドのモデルは、別々に学習する強力なベースラインを上回ることができるか？

主な発見

• 提案手法は、Amazonオンラインレビューデータセットにおいて、要約生成と感情分類の両タスクで最先端の性能を達成した。
• 要約生成と感情分類を別々に学習する強力なベースラインシステムを上回り、共同学習の有効性を実証した。
• 階層的構造により、感情分類器はより要約的かつ情報量の多い要約を処理でき、分類精度が向上した。
• 要約部は感情監視のおかげで、元のテキストの感情をよりよく反映した一貫性があり、感情に配慮した要約を生成した。
• マルチビュー注意機構により、要約と感情分類のための別個的だが補完的な表現を学習可能となり、全体の性能が向上した。
• 手動特徴量を一切使用せず、エンドツーエンドの共同学習フレームワークの有効性を裏付ける顕著な向上が得られた。