[論文レビュー] Generating News Headlines with Recurrent Neural Networks

Konstantin Lopyrev|arXiv (Cornell University)|Dec 5, 2015

Topic Modeling参考文献 12被引用数 107

ひとこと要約

本稿では、記事本文からニュース見出しを生成するための、アテンションを備えたエンコーダデコーダLSTMネットワークを提案する。複雑なバージョンよりも性能が向上する簡素化されたアテンション機構を導入し、見出し生成中にニューロンが主題、動詞、固有表現などの文脈的構造をどのように検出するかの分析を可能にする。

ABSTRACT

We describe an application of an encoder-decoder recurrent neural network with LSTM units and attention to generating headlines from the text of news articles. We find that the model is quite effective at concisely paraphrasing news articles. Furthermore, we study how the neural network decides which input words to pay attention to, and specifically we identify the function of the different neurons in a simplified attention mechanism. Interestingly, our simplified attention mechanism performs better that the more complex attention mechanism on a held out set of articles.

研究の動機と目的

• シーケンスツーセクエンス学習を用いて、ニュース記事を効果的に要約するニューラル見出し生成モデルの開発。
• アテンション機構が見出し生成中に関連する入力語をどのように選択するかを調査すること。
• 解釈可能性を向上させるとともに、ホールドアウトデータにおける性能を向上させるためにアテンション機構を簡素化すること。
• アテンション機構内の個々のニューロンの機能的役割と、文法的構造検出への貢献を分析すること。

提案手法

• 入力記事の処理と見出しの生成に、スタックされたLSTM層（4層、各600ユニット）を用いたエンコーダデコーダアーキテクチャを採用する。
• トレーニング中に教師強制（teacher forcing）を適用し、生成された語の10％をランダムにサンプリングすることで、トレーニングとテストの乖離を低減する。
• 評価時には2ビームのビームサーチデコードを適用し、出力品質を向上させる。
• 2種類のアテンション機構を実装：複雑なドット積アテンションと、隠れ状態をアテンション重みとコンテキスト計算に分離する簡素化されたバージョン。
• 学習率を段階的に減衰させるRMSProp最適化法を用い、ソフトマックスバイアスをトレーニングデータの頻度に基づいて初期化する。
• パディングとマスキング論理を導入することで、可変長の入出力に対応するためのシーケンス長制限を緩和する。

実験結果

リサーチクエスチョン

• RQ1 簡素化されたアテンション機構は、より複雑なアテンション機構と比較して、見出し生成においてどの程度の性能を発揮するか？
• RQ2 モデルのアテンション機構が検出可能な文語的現象は何か？個々のニューロンはその検出にどのように寄与しているか？
• RQ3 デコードビーム数が、モデルの誤った内容（幻覚）や関連のない内容の生成傾向にどのように影響するか？
• RQ4 モデルは、記事の最初の50語だけから、文法的に正しいかつ事実的に簡潔な見出しを生成する能力を学習できるか？
• RQ5 アテンション機構内の特定のニューロンが、主語・目的語・固有表現などの文法的構造を識別するために果たす役割は何か？

主な発見

• 簡素化されたアテンション機構はホールドアウトテストセットにおいて、複雑なアテンション機構を上回る性能を示し、一般化性能の向上を示した。
• ニューロンの活性化パターンを通じて、動詞、主語、目的語、固有表現、前置詞などの文語的構造をモデルが効果的に検出できた。
• デコーディング層のニューロンは、主語動詞関係や名詞句の境界といった特定の文語的現象をターゲットにするために、異なるタイミングで活性化した。
• ビーム数が少ない場合、モデルは「ロシアで」のような詳細を幻覚的に追加する傾向を示し、ビーム数に敏感であることがわかった。
• 頻度の高いが関連のないフレーズ（例：「緊急」、「bc-times」）は、ビーム数が多いほど生成されやすくなり、トレーニングデータに分布バイアスがあることを示唆した。
• Gigaword記事では高い性能を発揮したが、一般テキストでは性能に難ありであり、記事構造が性能に強く影響していることが示唆された。