[論文レビュー] A Pilot Study of Domain Adaptation Effect for Neural Abstractive Summarization

Xinyu Hua, Lu Wang|arXiv (Cornell University)|Jul 21, 2017

Topic Modeling参考文献 20被引用数 5

ひとこと要約

この論文は、ニューラル要約抽出におけるドメイン適応を調査し、ドメイン外の抽出要約で事前学習することで性能が向上し、重要コンテンツの検出が可能になることを示している。ドメイン内データが限られる状況では、ドメイン内とドメイン外のデータを組み合わせた学習がドメイン内データのみの学習よりも優れた要約を生成する。モデルはドメイン間でコンテンツ選択を学習できるが、ドメイン固有のライティングスタイルを捉えるにはドメイン内データが必要である。

ABSTRACT

We study the problem of domain adaptation for neural abstractive summarization. We make initial efforts in investigating what information can be transferred to a new domain. Experimental results on news stories and opinion articles indicate that neural summarization model benefits from pre-training based on extractive summaries. We also find that the combination of in-domain and out-of-domain setup yields better summaries when in-domain data is insufficient. Further analysis shows that, the model is capable to select salient content even trained on out-of-domain data, but requires in-domain data to capture the style for a target domain.

研究の動機と目的

• ドメイン外データが低リソースのターゲットドメインにおける要約抽出の性能を向上させるかを調査すること。
• ドメイン間で移行可能な情報——コンテンツ選択かスタイルか——を特定すること。
• 抽出要約での事前学習がドメイン適応に効果的かどうかを評価すること。
• アテンション機構を分析し、重要コンテンツ同定の移行可能性を理解すること。

提案手法

• 100万件のニュース記事-抽出要約ペア（The New York Times から収集）を用いて、ポインタジェネレータアテンションを備えたシーケンス・トゥ・シーケンスモデルを事前学習する。
• 事前学習済みモデルをドメイン内（意見記事）のデータで微調整し、要約抽出を行う。
• ニュース（ソースドメイン）と意見（ターゲットドメイン）のデータで別々のモデルを学習し、性能とアテンションパターンを比較する。
• ROUGEとBLEUスコアを用いて要約品質を評価する。
• 要約生成時の入力語のうち、どの語に最も注目されているかをアテンション重みを分析して特定する。
• 名前付きエンティティタイプ、品詞タグ、主観性の観点から注目された語を分類し、コンテンツ選択の移行可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン外の抽出要約で事前学習することで、新しいドメインにおける要約抽出の性能が向上するか？
• RQ2 要約のどの側面——コンテンツ選択か言語的スタイルか——がドメイン間で移行可能か？
• RQ3 ドメイン内データが限られる状況で、ドメイン内とドメイン外のデータを組み合わせた学習が性能に与える影響は？
• RQ4 ドメイン外データで学習したモデルでも、ターゲットドメインにおける重要コンテンツを同定できるか？
• RQ5 ドメイン内データは、ドメイン固有のライティングスタイルを捉えるために果たす役割は何か？

主な発見

• 抽出要約での事前学習により、ニュースおよび意見記事の要約においてROUGEおよびBLEUスコアが顕著に向上した。
• ニュース（ドメイン外）データで学習したモデルでさえ、意見（ターゲットドメイン）の要約にふさわしいコンテンツに注目しており、コンテンツ選択能力の移行が示された。
• ドメイン内データが限られる状況では、ドメイン内とドメイン外データを組み合わせた学習がドメイン内データのみの学習よりも高いROUGEスコアを達成した。
• ドメイン外データでの学習のみで学習したモデルは、入力に存在しない新しい語を生成できないが、人間の編集者は意見要約で頻繁に新しい語を用いるため、この点で不足している。
• アテンション解析の結果、ミックスドメインモデルは名前付きエンティティや名詞に多く注目し、動詞や主観的語に注目する割合を減らしており、ターゲットドメインの特徴とより整合的であることがわかった。
• ドメイン固有のライティングスタイルを捉えるにはドメイン内学習が不可欠であり、ドメイン外データでのみ学習したモデルは、入力に存在しない新しい語を生成できないことが実証された。