[論文レビュー] Language Model Pre-training for Hierarchical Document Representations

Ming‐Wei Chang, Kristina Toutanova+2 more|arXiv (Cornell University)|Jan 26, 2019

Topic Modeling参考文献 8被引用数 18

ひとこと要約

本稿では、文書全体の文脈的情報を統合する新しい事前学習手法を提案し、マスク言語モデルと双方向シーケンスモデリングを用いて、文書レベルの自然言語処理タスクにおける性能を向上させることを目的としている。実験の結果、文書分割、質問応答、要約抽出の各タスクで顕著な向上が得られ、TriviaQAでは最大6%の絶対的向上が確認され、強化学習を用いない強力な結果が得られている。

ABSTRACT

Hierarchical neural architectures are often used to capture long-distance dependencies and have been applied to many document-level tasks such as summarization, document segmentation, and sentiment analysis. However, effective usage of such a large context can be difficult to learn, especially in the case where there is limited labeled data available. Building on the recent success of language model pretraining methods for learning flat representations of text, we propose algorithms for pre-training hierarchical document representations from unlabeled data. Unlike prior work, which has focused on pre-training contextual token representations or context-independent {sentence/paragraph} representations, our hierarchical document representations include fixed-length sentence/paragraph representations which integrate contextual information from the entire documents. Experiments on document segmentation, document-level question answering, and extractive document summarization demonstrate the effectiveness of the proposed pre-training algorithms.

研究の動機と目的

• ラベル付きデータが限られている状況において、大規模なラベルなしテキストを活用して、効果的な階層的文書表現を学習する課題に取り組む。
• 局所的文脈や一方向表現に限定される既存の事前学習手法の限界を克服する。
• 新しい事前学習目的を用いて、階層的文書モデルにおける長距離文脈情報の双方向統合を可能にする。
• 下流タスクにおける局所的（文）およびグローバル（文書）レベルの階層的表現の事前学習の影響を評価する。
• 上位レベルの文書表現を事前学習することで、下位レベルの表現のみを事前学習する場合よりも大きな性能向上が得られることを示す。

提案手法

• 文の内部で文脈化された単語レベル表現と、全文書の内部で文脈化された文レベル表現を持つ2段階の階層的ニューラルアーキテクチャを提案する。
• 左から右へおよび右から左への言語モデルアプローチを導入し、一方向の階層的表現を事前学習する。これは、ELMo風の手法を文書レベルの文脈に拡張したものである。
• 階層的表現に特化したマスク言語モデリング目的を提案し、双方向の文書レベル文脈の効率的かつ効果的な事前学習を可能にする。
• 2段階の訓練プロセスを採用する：まず、提案された目的に基づいて大規模なラベルなし文書で階層的モデルを事前学習し、次に、軽量なタスク専用ネットワークでタスク固有のラベル付きデータで微調整する。
• 下流タスク（文書分割、パラグラフ検索、要約抽出など）において、事前学習済み表現を固定特徴量として使用するか、またはモデル全体を微調整する。
• ROUGEスコアとパラグラフ検索の正確性を用いて性能を評価し、ELMo やスイッチト・ベクトルといった強力なベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベルなしテキストから階層的文書表現を事前学習することで、文書レベルNLPタスクの性能が向上するか？
• RQ2 上位レベル（文書レベル）の表現を事前学習すると、下位レベル（文レベル）の表現のみを事前学習する場合よりも大きな向上が得られるか？
• RQ3 階層的表現における双方向文脈統合は、一方向または独立した文表現と比較して性能にどのように影響するか？
• RQ4 タスク固有の微調整や強化学習を用いずに、事前学習された階層的表現がELMo やスイッチト・ベクトルといった強力なベースラインを上回るか？
• RQ5 要約抽出や質問応答における階層的事前学習において、局所的（文）およびグローバル（文書）文脈化の相対的寄与度は何か？

主な発見

• 提案された階層的表現向けのマスク言語モデリングアプローチ、{ extsc{mask-LM}}$^{\text{global}}$ は、TriviaQAのパラグラフ検索タスクで最高の性能を達成し、先行研究より6%の絶対的向上を達成した。
• CNN/Daily Mailの要約抽出タスクでは、強化学習を用いずに強く、先行する抽出型要約手法よりもROUGE-1で0.9ポイント、ROUGE-Lで0.7ポイントの向上を達成した。
• 上位レベルの文書表現を事前学習すると、下位レベルの文の表現のみを事前学習する場合よりも、大多数のタスクでより大きな性能向上が得られた。
• 固定特徴量として使用した場合、ELMo やスイッチト・ベクトルといった強力なベースラインを上回る性能を示し、グローバル階層的事前学習の優位性を実証した。
• 局所的およびグローバル表現の両方を事前学習した場合に、事前学習の影響が最も顕著に現れ、マルチレベル文脈化の価値を確認した。
• 結果から、マスク言語モデルで事前学習された双方向階層的表現は、要約抽出の生成モデルと相補的かつ非常に効果的であることが示唆された。