[論文レビュー] Inducing Syntactic Trees from BERT Representations

Rudolf Rosa, David Mareček|arXiv (Cornell University)|Jun 27, 2019

Topic Modeling参考文献 7被引用数 14

ひとこと要約

本稿では、文から単語を除去した際の文脈的埋め込みの変化を測定することで、BERT表現から従属構文木を訓練なしに導出する新規な手法を提案する。この変化の程度を「還元可能性スコア」と定義する。このアプローチは、BERTの深い文脈的表現を活用して構文的役割を推定するもので、より還元可能な語（例：形容詞）は従属構文木において葉または子ノードになりやすく、逆に還元しにくい語（例：動詞の主干）は頭部またはルートになりやすい。単純なパーサーを用いて40.6%のUnlabeled Attachment Score (UAS)を達成し、強力な右連鎖ベースライン（29.5% UAS）を顕著に上回り、微調整なしに事前学習済み言語モデル表現から構文構造を直接誘導可能であることを示している。

ABSTRACT

We use the English model of BERT and explore how a deletion of one word in a sentence changes representations of other words. Our hypothesis is that removing a reducible word (e.g. an adjective) does not affect the representation of other words so much as removing e.g. the main verb, which makes the sentence ungrammatical and of "high surprise" for the language model. We estimate reducibilities of individual words and also of longer continuous phrases (word n-grams), study their syntax-related properties, and then also use them to induce full dependency trees.

研究の動機と目的

• 構文的還元可能性（文法的正しさを損なわず語を省略できる能力）が、BERT表現から直接推定可能かどうかを調査すること。
• BERTから導出された還元可能性スコアを、構文的にアノテートされたデータに対する微調整なしに、射影的従属構文木を誘導するために使用可能かどうかを検討すること。
• BERTベースの還元可能性と実際の構文構造（特に葉ノード、頭部、ルートの特定）との対応関係を評価すること。
• 還元可能性スコアを用いて従属構文木を構築するパーサーの開発と比較を行い、無情報ベースラインを上回る精度を達成することを目的とする。

提案手法

• 文 $ s $ 内のフレーズ $ p $ の還元可能性スコア $ r_{p,s} $ は、元の文 $ s $ と $ p $ を除去した修正文 $ s_{-p} $ のBERT表現間の、すべての残存語におけるユークリッド距離の平均として計算される。
• BERT表現は、各語の位置におけるBERTエンコーダーの最終層から抽出され、距離は文内のすべての残存語に対してL2ノルムを用いて計算される。
• アルゴリズムDでは、再帰的ヘッド付きブラケット符号化を用い、構造的制約（交差しないブラケット、ヘッドの存在）を満たす最も還元可能なフレーズを貪欲に挿入することで、射影的木を構築する。
• アルゴリズムRは右連鎖ベースラインを発展させ、各ノードが直後に存在する還元可能性がより高いノードに接続されるとする。これにより、親ノードは子ノードよりも還元可能性が低くなることが保証される。
• 本手法は構文データに対する微調整を一切回避する。すべてのスコアとパーサー意思決定は、事前学習済みBERTモデルから直接導出される。
• 句読点は、還元されにくく、パーサーに悪影響を与える傾向があるため、還元可能性を低く設定することで処理することが可能である。

実験結果

リサーチクエスチョン

• RQ1 BERT表現は、構文的還元可能性（例：形容詞など）を検出可能か。すなわち、文法的正しさを損なわず省略可能な語が検出可能か。
• RQ2 BERTベースの還元可能性スコアは、実際の従属構文木構造（葉ノード、親子関係など）とどの程度相関しているか。
• RQ3 構文的アノテーションデータに対する微調整なしに、還元可能性スコアを用いて正確な従属構文木を構築可能か。
• RQ4 提案されたパーサー（DおよびR）は、右連鎖ベースラインなど強力な無情報ベースラインと比較して、Unlabeled Attachment Score (UAS) においてどの程度優れているか。
• RQ5 構文理論が予測するように、文のルートは常に還元可能性が最も低い語であるか。

主な発見

• 従属構文木における葉ノードと非葉ノードを区別する精度は74.5%に達し、すべての語が葉であると仮定するベースライン（66.4%）を顕著に上回っている。
• 構文的ルートは34%の文で最も還元可能性が低い語であり、句読点を除くと46%に上昇する。これは13%のランダムベースラインを大幅に上回る。
• 親が子より還元可能性が低いと仮定することで、従属エッジの方向性を70.6%の精度で正しく予測した。右連鎖ベースラインの65.8%を上回った。
• 句読点を還元可能性を低く設定した場合、アルゴリズムRは40.6%のUASを達成し、右連鎖ベースライン（29.5%）を11.1ポイント上回った。
• 句読点の還元可能性を低く設定した場合、アルゴリズムDは33.1%のUASを達成した。これは、最小限の構造的制約のもとでもベースライン性能を向上させられることを示している。
• 語の平均還元可能性は品詞タグと相関しており、形容詞や副詞は高い還元可能性を示し、動詞は低い還元可能性を示す。これは言語学的直観と整合している。