[論文レビュー] Modelling, Visualising and Summarising Documents with a Single Convolutional Neural Network

Misha Denil, Alban Demiraj+3 more|arXiv (Cornell University)|Jun 15, 2014

Topic Modeling参考文献 28被引用数 91

ひとこと要約

本論文は、階層的畳み込み演算を適用することで、語、文、文書レベルの表現を統合的に学習する、単一の統合型畳み込みニューラルネットワーク（CNN）モデルを提案する。このモデルは語と文の順序を保持し、エンドツーエンドの文書分類を可能にするとともに、追加のトレーニングや特徴工学を経ずに高品質な自動テキスト要約を直接得られる解釈可能な可視化をサポートする。

ABSTRACT

Capturing the compositional process which maps the meaning of words to that of documents is a central challenge for researchers in Natural Language Processing and Information Retrieval. We introduce a model that is able to represent the meaning of documents by embedding them in a low dimensional vector space, while preserving distinctions of word and sentence order crucial for capturing nuanced semantics. Our model is based on an extended Dynamic Convolution Neural Network, which learns convolution filters at both the sentence and document level, hierarchically learning to capture and compose low level lexical features into high level semantic concepts. We demonstrate the effectiveness of this model on a range of document modelling tasks, achieving strong results with no feature engineering and with a more compact model. Inspired by recent advances in visualising deep convolution networks for computer vision, we present a novel visualisation technique for our document networks which not only provides insight into their learning process, but also can be interpreted to produce a compelling automatic summarisation system for texts.

研究の動機と目的

• 語と文の表現を段階的に組み合わせることで、ドキュメント内の構成的意味を捉える統合的深層学習モデルの開発。
• 袋-語モデルやn-gramモデルに内在する情報損失を避けるために、ドキュメント表現における語と文の順序を保持すること。
• 学習済み畳み込みフィルタに新しい可視化技術を適用することで、自動テキスト要約を実現すること。
• 分類タスクに訓練された同一モデルが、再トレーニングなしに要約と解釈可能性に再利用可能であることを示すこと。
• このフレームワークにおけるドキュメント表現学習の質を向上させるために、教師なし事前学習の可能性を調査すること。

提案手法

• モデルは二段階の階層的CNNを採用：まず文内の語埋め込みに対して畳み込み演算を実行し、次に文書全体の文埋め込みに対して適用する。
• 各段階で、キャスケード畳み込み、マックスプーリング、tanh非線形活性化を組み合わせた変更版の動的畳み込みニューラルネットワーク（DCNN）を用い、階層的特徴を学習する。
• 文間で重みを共有することで、一貫性のある文レベル表現学習を実現し、一般化性能とパラメータ効率を向上させる。
• 最終的なドキュメント埋め込みに対してソフトマックス分類器を用い、バックプロパゲーションによるエンドツーエンドのトレーニングを実施する。
• フィルタ活性化の可視化（Simonyanらにインspired）を用いて、顕著な語や文を特定し、自動要約の根拠とする。
• 要約は、可視化マップに基づき、活性化度が最も高い文のうち20%未満を選び出すことで生成され、追加のファインチューニングは不要。

実験結果

リサーチクエスチョン

• RQ1 単一の統合型CNNモデルは、語と文の順序を保持しながら、ドキュメントの階層的表現を効果的に学習できるか？
• RQ2 ドキュメントレベルCNNの内部畳み込みフィルタの可視化は、モデルの推論プロセスに対する解釈可能なインサイトをどの程度提供できるか？
• RQ3 分類に使用された同一モデルを、活性化に基づく注目メカニズムを用いて直接要約タスクに再利用できるか？
• RQ4 このモデルの要約性能は、例えば最初の文を選択するヒューリスティックベースの手法（例：最初の文要約）と比較してどの程度優れているか？
• RQ5 このフレームワークにおいて、教師なし事前学習は、学習されたドキュメント表現の質を向上させる可能性を秘めているか？

主な発見

• 手動で設計された特徴なしに、階層的畳み込みを用いたエンドツーエンド学習の有効性を示す強力な文書分類性能を達成した。
• フィルタ活性化の可視化により、意味的に重要な語や文を効果的に特定でき、モデルの内部推論プロセスに対する解釈可能性が得られた。
• 可視化に基づく要約手法は、最初の文のみを選択するヒューリスティック手法を上回ることを、定性的な例（図3）で示した。
• 活性化パターンに基づき、最大で20%の顕著な文を選択することで、一貫性があり関連性の高い要約が生成された。
• 分類タスクに訓練された同一モデルは、再トレーニングやアーキテクチャ変更なしに、直接要約と可視化に利用可能である。
• 階層的アーキテクチャにより、語、文、文書の表現を統合的に学習でき、単一のパrameter化されたシステムから複数の下流タスクをサポートした。