[論文レビュー] What Context Features Can Transformer Language Models Use?

Joe O’Connor, Jacob Andreas|arXiv (Cornell University)|Jun 15, 2021

Topic Modeling参考文献 35被引用数 5

ひとこと要約

この論文は、トランスフォーマーが言語モデリングを向上させるためにどのような文脈的情報を利用しているかを調査する。$ρ$-情報フレームワークを用いて、長文の文脈における語彙的および構造的特徴をアブレーション解析したところ、有用な情報の大部分は内容語と局所的な共起パターンにのみ依存していることが判明した。機能語を削除するか、語順をシャッフルしても性能低下は15%未満にとどまるため、現在のモデルでは文法的・命題的詳細はほとんど関与していないことが示唆された。

ABSTRACT

Transformer-based language models benefit from conditioning on contexts of hundreds to thousands of previous tokens. What aspects of these contexts contribute to accurate model prediction? We describe a series of experiments that measure usable information by selectively ablating lexical and structural information in transformer language models trained on English Wikipedia. In both mid- and long-range contexts, we find that several extremely destructive context manipulations -- including shuffling word order within sentences and deleting all words other than nouns -- remove less than 15% of the usable information. Our results suggest that long contexts, but not their detailed syntactic and propositional content, are important for the low perplexity of current transformer language models.

研究の動機と目的

• 長文の文脈入力におけるどの側面がトランスフォーマー言語モデルに有用な情報を提供しているかを特定すること。
• 長文モデリングにおける予測性能を左右するのは、構文的構造、語順、それとも語彙的コンテンツかを特定すること。
• 形式的な情報理論的フレームワークを用いて、制御された文脈アブレーションがモデルのパープレキシティに与える影響を測定すること。
• アブレーション下でのモデル性能低下が情報損失か分布シフトかを区別すること。
• 将来的なモデル設計を、より効率的で情報保持性の高い文脈表現へと導くこと。

提案手法

• 本研究では、$ρ$-情報フレームワーク（Xu et al., 2020）を用いて、言語モデルの文脈における利用可能な予測情報の量を定量化する。
• Wikipediaデータ上でトランスフォーマー言語モデルを学習し、文脈特徴の制御されたアブレーション下でのパープレキシティを評価する。
• アブレーションには、文内の語順をシャッフルする、名詞以外のすべての語を削除する、機能語を削除する、といった操作が含まれる。
• モデル性能を元の文脈とアブレーション済み文脈で比較することで、構造的情報と語彙的情報の影響を分離する。
• 実験は768トークンの文脈長で実施され、モデル性能はホールドアウトパープレキシティで測定される。
• このフレームワークにより、性能低下の原因が情報損失か分布シフトかを分離可能である。

実験結果

リサーチクエスチョン

• RQ1 長文の文脈入力におけるどの特徴がトランスフォーマー言語モデルの予測に最も有用か？
• RQ2 構文的構造や語順が破壊された場合、どの程度の有用な情報が保持されるか？
• RQ3 機能語やグローバル構造と比較して、内容語と局所的共起パターンが予測情報にどの程度寄与しているか？
• RQ4 固有表現や文書IDの存在が、長文の利点を説明できるか？
• RQ5 アブレーション下での性能低下は、情報損失か分布シフトのどちらに起因しているか？

主な発見

• 文内の語順をシャッフルしても、モデルのパープレキシティは15%未満に低下するため、局所的な語順にほとんど依存していないことが示された。
• 名詞以外のすべての語を削除しても、パープレキシティの上昇は15%未満であるため、内容語が大部分の有用な情報を保持していることが示された。
• 機能語を削除してもパープレキシティは15%未満に上昇するため、文法的機能語は予測力にほとんど寄与していないことが示された。
• 文書IDや固有表現のみを保持しても顕著な性能低下が生じるため、長文の利点がトピックやエンティティ情報だけでは説明できないことが示された。
• 結果から、現在のトランスフォーマー言語モデルは、主に局所的な共起統計と内容語を用いていることが示唆された。
• 本研究は、従来は極めて破壊的であると考えられていた多くのアブレーションが、有用な情報にほとんど影響しないことを示し、モデルが言語的構造に依存しているという仮定に疑問を呈した。