[論文レビュー] Parsing as Pretraining

David Vilares, Michalina Strzyz+2 more|arXiv (Cornell University)|Feb 5, 2020

Topic Modeling参考文献 34被引用数 6

ひとこと要約

この論文は、タスク固有のデコーダーやパーサーアルゴリズムを一切使用せずに、事前学習済み言語モデルエンコーダーのみを用いて、完全な構文成分解析および従属構造解析を実行する新規手法を提案する。構文解析を系列ラベリング問題に再定式化し、単一の全結合層を用いて単語埋め込みを線形化された木構造にマッピングすることで、SOTAの結果を達成した—PTBでは93.5%のブレケットF1、en-ewt UDでは78.8%のLAS—事前学習モデルが微調整なしに構文構造を内蔵的に表現していることを示している。

ABSTRACT

Recent analyses suggest that encoders pretrained for language modeling capture certain morpho-syntactic structure. However, probing frameworks for word vectors still do not report results on standard setups such as constituent and dependency parsing. This paper addresses this problem and does full parsing (on English) relying only on pretraining architectures -- and no decoding. We first cast constituent and dependency parsing as sequence tagging. We then use a single feed-forward layer to directly map word vectors to labels that encode a linearized tree. This is used to: (i) see how far we can reach on syntax modelling with just pretrained encoders, and (ii) shed some light about the syntax-sensitivity of different word vectors (by freezing the weights of the pretraining network during training). For evaluation, we use bracketing F1-score and LAS, and analyze in-depth differences across representations for span lengths and dependency displacements. The overall results surpass existing sequence tagging parsers on the PTB (93.5%) and end-to-end EN-EWT UD (78.8%).

研究の動機と目的

• 事前学習済み言語モデルのみで、タスク固有のデコーディングや構造的特徴なしに完全な構文解析が可能かどうかを調査すること。
• 訓練中に事前学習ネットワークの重みを固定することで、さまざまな単語埋め込み表現の構文感受性を評価すること。
• さまざまな事前学習アーキテクチャが、直接的なパーサー性能を通じて、語彙的・構文的構造をどの程度捉えられるかを評価すること。
• 完全な構文解析設定を用いた、単語埋め込み表現の構文的能力を統一的に分析するフレームワークを提供すること。

提案手法

• 木構造を線形化することで、構文成分解析および従属構造解析の両方を系列ラベリングタスクとして定式化する。
• 入力単語埋め込みを出力ラベル系列（解析済み木構造を表す）にマッピングするための単一の全結合層を用いる。
• 事前学習エンコーダーの重みを固定することで、静的単語埋め込みの構文感受性を分析し、微調整を施してエンドツーエンド性能を評価する。
• 標準ベンチマークで評価する：構文成分解析にはPTB、従属構造解析にはen-ewt UDを用い、ブレケットF1とLASスコアを測定する。
• スパン長、スパンラベル、従属関係の距離、関係タイプごとのパフォーマンスを分析することで、言語的能力を精査する。
• 同一の設定下で、事前計算済み埋め込み（例：FastText）と文脈依存表現（例：ELMo、BERT）を比較する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルが、タスク固有のデコーディングや構造的特徴なしに、完全な構文解析をどの程度実行できるか。
• RQ2 重みを固定した状態で、パーサー性能によって測定した場合、どの事前学習アーキテクチャが最も構文構造を内蔵しているか。
• RQ3 静的表現と文脈依存表現の両方において、スパン長、ラベル頻度、従属関係の距離といった構文現象において、異なる単語埋め込みタイプの性能はどのように異なるか。
• RQ4 言語モデル学習の目的関数は、従属構造よりも構文成分構造をより効果的に内蔵しているのか。
• RQ5 単一の線形ヘッドによる系列ラベリングは、タスク固有の構造設計なしに、事前学習エンコーダーのみを用いて競争力のあるパーサー性能を達成できるか。

主な発見

• モデルはPTBテストセットで93.5%のブレケットF1スコア、en-ewt UDテストセットで78.8%のLASスコアを達成し、既存の系列タグ付きパーサーを上回った。
• 固定されたELMoおよびBERT表現は、特に長く頻度の低いスパンにおいて、静的FastText埋め込みを上回るスパン同定性能を示した。
• 文脈依存表現（ELMo、BERT）は、長期間のスパンや珍しいスパン、およびroot、nsubj、objといった難しい従属関係において、顕著に優れた性能を示した。
• 従属構造解析のパフォーマンスは構文成分解析より低く、ELMoおよびBERTは静的ベクトルに対して小さな向上しか示さなかったことから、従属構造の表現が弱い可能性が示唆された。
• 結果から、言語モデル学習の目的関数は、構文成分構造の概念を、従属関係よりもより効果的に内蔵している可能性があり、これは構文成分解析およびスパンレベルタスクでの優れた性能によって裏付けられた。
• 分析から、微調整を施したBERTは、構文解析のための追加的なアーキテクチャ設計なしに、その事前学習済み表現のみで強力なパーサー性能を達成できることを示した。