[論文レビュー] A Hierarchical Neural Autoencoder for Paragraphs and Documents

Jiwei Li, Minh-Thang Luong+1 more|arXiv (Cornell University)|Jun 2, 2015

Topic Modeling参考文献 29被引用数 207

ひとこと要約

本稿では、単語から文、文から段落への関係をモデル化することで、一貫性があり文法的に正しい複文テキストの再構成を可能にする階層的LSTMオートエンコーダーを提案する。このモデルは標準的なシーケンス・ツー・シーケンスLSTMを上回り、文の順序を保持（ホテルレビューではL = 1.57、WikipediaではL = 2.04）し、ROUGEおよびエンティティグリッドスコアにおいて優れた性能を示し、神経ネットワークモデルが話法的整合性を符号化できる能力を示している。

ABSTRACT

Natural language generation of coherent long texts like paragraphs or longer documents is a challenging problem for recurrent networks models. In this paper, we explore an important step toward this generation task: training an LSTM (Long-short term memory) auto-encoder to preserve and reconstruct multi-sentence paragraphs. We introduce an LSTM model that hierarchically builds an embedding for a paragraph from embeddings for sentences and words, then decodes this embedding to reconstruct the original paragraph. We evaluate the reconstructed paragraph using standard metrics like ROUGE and Entity Grid, showing that neural models are able to encode texts in a way that preserve syntactic, semantic, and discourse coherence. While only a first step toward generating coherent text units from neural models, our work has the potential to significantly impact natural language generation and summarization\footnote{Code for the three models described in this paper can be found at www.stanford.edu/~jiweil/ .

研究の動機と目的

• 神経ネットワークのシーケンスモデルが、長文生成において句構造的・意味的・話法的整合性を保持できるかを調査すること。
• 再帰的ニューラルネットワークを用いた一貫性のある段落や文書の生成という課題に取り組むこと。
• 平坦なシーケンス・ツー・シーケンスモデルと比較して、LSTMにおける階層的構成性が、複文テキスト構造をより効果的に符号化できるかを検討すること。
• 長文のオートエンコーディングが、要約や対話生成のようなより複雑な生成タスクの基盤として機能できるかを評価すること。

提案手法

• モデルは2段階の階層的LSTMを用いる：語のレベルのLSTMが個々の語を文の埋め込みに変換し、文のレベルのLSTMが文を段落レベルの表現に変換する。
• エンコーダーは語のレベルと文のレベルのスタックドLSTMを用いて、入力の段落を固定サイズのベクトル表現に圧縮する。
• デコーダーは段落レベルの埋め込みを用いて、自己回帰的に語と文を生成することで、元の段落を再構成する。
• 生成された文と入力された文の間の整合性を向上させるために、文のレベルにアテンション機構を適用する。
• 再構成誤差を最小化するために、クロスエントロピー損失を用いてエンド・ツー・エンドでモデルを学習する。
• 入力と出力の間の相対的な文の位置の平均偏差を測定することで、文の順序保持を評価する新しい整合性指標Lを導入する。

実験結果

リサーチクエスチョン

• RQ1 階層的LSTMオートエンコーダーは、文法的・意味的・話法的整合性を保持したまま、複文の段落を再構成できるか？
• RQ2 語→文→段落という階層的構造をモデル化することで、平坦なシーケンス・ツー・シーケンスモデルと比較して、テキスト再構成性能がどのように向上するか？
• RQ3 神経ネットワークモデルが、文の順序や整合性といった話法的関係をどの程度符号化できるか？
• RQ4 文のレベルでのアテンションは、再構成品質と整合性の保持に寄与するか？
• RQ5 このオートエンコーダーフレームワークは、要約や質問応答のようなより複雑な生成タスクに拡張可能か？

主な発見

• 階層的LSTMモデルは、ホテルレビューデータセットでROUGE-L F1スコア0.355、Wikipediaデータセットで0.220を達成し、標準的なシーケンス・ツー・シーケンスモデルを上回った。
• モデルは文の順序を効果的に保持しており、ホテルレビューでは整合性スコアLが1.57、Wikipediaでは2.04であった。これは、文の位置が最小限に入れ替わったことを示している。
• 文のレベルのアテンションを追加することで、性能が向上し、WikipediaではLが2.04に低下し、ROUGE-F1が0.291に上昇した。
• エンティティグリッドスコアから、モデルが意味的整合性を維持していることが示され、WikipediaではF1が0.529、アテンション付きでは0.544であった。
• ROUGEと整合性指標の両面で、標準的なシーケンス・ツー・シーケンスモデルに比べて、階層的モデルが顕著に優れており、構造的インダクティブバイアスの利点が明らかになった。
• 結果から、神経ネットワークモデルが複雑な話法的構造を符号化できることを示唆しており、要約や対話生成の分野における今後の研究を支援する。