[論文レビュー] Discourse Probing of Pretrained Language Models

Fajri Koto, Jey Han Lau+1 more|arXiv (Cornell University)|Apr 13, 2021

Topic Modeling参考文献 27被引用数 4

ひとこと要約

本稿では、7種類のモデルと4ヶ国語で構成される文書レベルの修辞的プローブを導入し、事前学習された言語モデルが文書レベルの修辞構造をどの程度捉えられるかを評価する。BARTのエンコーダーが全体的に最も優れた性能を示す一方、BERTはより単純な事前学習目的であるにもかかわらず驚くべきほど優れた性能を示し、層やモデルによって性能に顕著な差が見られる。

ABSTRACT

Existing work on probing of pretrained language models (LMs) has predominantly focused on sentence-level syntactic tasks. In this paper, we introduce document-level discourse probing to evaluate the ability of pretrained LMs to capture document-level relations. We experiment with 7 pretrained LMs, 4 languages, and 7 discourse probing tasks, and find BART to be overall the best model at capturing discourse -- but only in its encoder, with BERT performing surprisingly well as the baseline model. Across the different models, there are substantial differences in which layers best capture discourse information, and large disparities between models.

研究の動機と目的

• 事前学習された言語モデルが文の構文を超えて、文書レベルの修辞的構造をどの程度捉えられるかを評価すること。
• BERTの研究結果が、アーキテクチャ、事前学習目的、言語が異なる他のモデルに一般化されるかを調査すること。
• 各モデル内のどの層が修辞的情報を最もよく捉えているかを特定し、モデルや言語によって性能がどのように変化するかを明らかにすること。
• 修辞構造理論（RST）に基づいた7つの体系的プローブタスクを用いて、修辞的構造を系統立てて分析すること。

提案手法

• 修辞構造理論（RST）に基づいて、核性、修辞的関係、EDU分割、ストーリークローズを含む7つの修辞的プローブタスクを設計した。
• 英語、中国語、ドイツ語、スペイン語の4ヶ国語で、7種類の事前学習モデル（BERT、RoBERTa、ALBERT、ELECTRA、GPT-2、BART、T5）を評価した。
• 各トランスフォーマー層における表現品質を評価するため、層ごとのプローブを実施し、プールド表現（例：[CLS] または平均プール）に分類ヘッドを適用した。
• 各タスク用に標準化されたデータセット（RST-DT、CDTB、Potsdam Commentary、XSum）を用いてモデルを訓練および評価した。
• 3つのランダムシードでの平均と標準偏差を報告し、すべてのタスクおよびモデルにおける性能を報告した。
• [CLS] トークンと平均プールの比較（BERT）、および固定化済み・微調整済みのBERT層の評価を通じて、表現の安定性を評価した。

実験結果

リサーチクエスチョン

• RQ1 異なる事前学習された言語モデルが、複数の言語で文書レベルの修辞的構造をどの程度捉えられるか？
• RQ2 各モデル内のどの層が修辞的情報を最もよく捉えているか？ また、モデル間でその差はどのように変化するか？
• RQ3 BERTが文のレベルタスクで優れた性能を示すという事実が、多言語および文書レベルの修辞的プローブに一般化されるか？
• RQ4 事前学習目的（例：MLM、DAE、LM）が異なるモデルどうしが、修辞的構造をどの程度捉えられるかを比較するとどうなるか？
• RQ5 英語で得られた結果が、中国語、ドイツ語、スペイン語のような低リソース言語にもどの程度一般化されるか？

主な発見

• BARTのエンコーダーが、すべての修辞的プローブタスクで最高の平均性能を示し、文書レベルの修辞的構造を捉える能力に優れた。
• BERTは、より単純な事前学習目的（MLM + NSP）であるにもかかわらず、全言語で驚くほど優れた性能を示し、特に核性と関係分類で顕著な結果を示した。
• 性能は層によって顕著に異なる：BERTでは中層〜上層（例：層10〜12）で最高の性能を示したのに対し、BARTのエンコーダーは層7〜12でピークに達した。
• GPT-2は、デコーダー専用モデルであるため、核性や関係分類のタスクで著しく低い性能を示し、修辞的理解が限定的であることが示された。
• T5は一貫したがやや控えめな性能を示し、核性および関係タスクで低いスコアを記録した。これは、階層的な修辞的構造を十分に捉えていない可能性を示唆した。
• 平均プールは、特に後続層で、[CLS] トークン表現に比べて性能が劣った。ただし、深層部では差が小さくなった。