[論文レビュー] A Systematic Analysis of Morphological Content in BERT Models for Multiple Languages

Daniel Edmiston|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling参考文献 36被引用数 30

ひとこと要約

この論文はBERT様モデルが五つのヨーロッパ言語にわたる形態素特徴をどのようにコードするかを探求し、埋め込みにおける凸性・特徴値分離、文脈依存の曖昧性解消の利点、主語と動詞の一致に関連する対象注意の関連性を示す。

ABSTRACT

This work describes experiments which probe the hidden representations of several BERT-style models for morphological content. The goal is to examine the extent to which discrete linguistic structure, in the form of morphological features and feature values, presents itself in the vector representations and attention distributions of pre-trained language models for five European languages. The experiments contained herein show that (i) Transformer architectures largely partition their embedding space into convex sub-regions highly correlated with morphological feature value, (ii) the contextualized nature of transformer embeddings allows models to distinguish ambiguous morphological forms in many, but not all cases, and (iii) very specific attention head/layer combinations appear to hone in on subject-verb agreement.

研究の動機と目的

• 離散的な形態素特徴とそれらの値が、複数の言語にわたるBERT風モデルの隠れ表現とアテンション分布に反映されているかを評価する。
• 埋め込み空間が特徴値に対応する凸状領域に区分されているかを明らかにする。
• 文脈依存の埋め込みが形態素的に曖昧な形の曖昧さを解消するのに役立つかを評価する。
• 様々な言語において、アテンションパターンが主語-動詞の一致のような同意関係を示すかを調べる。

提案手法

• 言語横断のBERT-baseモデルを対象に、(a) 隠れ層埋め込みから形態素特徴値を k-means、線形および非線形分類器を用いて監視付き分類を行い、12層に渡って評価; (b) ピアソンのカイ二乗検定ベースの指標を用いた自己注意分布の分析を行い、注意ヘッドおよび層における一致パターンを検出する。
• UD TreebanksとUD互換レキシコンのデータを用いて、特徴値あたり750例をサンプリング（データ量の制約により例外あり）で訓練/テスト分割85/15。
• 調査対象特徴: Case, Gender, Mood, Number, Person, Tense, Verb Form を英語、フランス語、ドイツ語、ロシア語、スペイン語で; 各言語向けに事前学習済みのモデル(BERT-base系)を用いる。
• 特徴の複雑さ（値の数、曖昧さ）と層の深さの関数として性能を評価し、どこで形態情報が最も顕著かを特定する。

実験結果

リサーチクエスチョン

• RQ1 BERT様モデルは複数の言語にわたり、隠れ表現に形態素特徴値をコードしているのか。
• RQ2 埋め込み空間は特徴値に対応する凸領域に分割され、線形分離可能性を可能にしているのか。
• RQ3 文脈依存付与は形態素的に曖昧な形の曖昧さを解消するのに役立つか、またその限界は何か。
• RQ4 アテンション分布はBERTモデルでの一致関係（主語-動詞）を示すことができるのか、またその信号は特定のヘッド/層に局在しているのか。
• RQ5 曖昧さと特徴値の数が、言語間の形態素分類性能にどう影響するか。

主な発見

• 線形分類器は高いF1を達成する（しばしば0.9を超える）ことが多く、埋め込みにおいて特徴値ごとに凸で線形分離可能な領域を示している。
• K-meansクラスタリングの性能は大部分がランダム基準付近であり、監視付き学習が形態情報の抽出を大幅に助けていることを示唆している。
• 中〜後の層が特徴値分類を最もよく支え、言語ごとにドイツ語とロシア語が層に基づく傾向を最も強く示す。
• 文脈化された埋め込みは形態的に曖昧な形の解消を改善するが、特に高度に同形的な形では曖昧さの解消を完全には解決しない。
• アテンション分析では、全ヘッド-層の組み合わせの一部が一致関係を捉え、統計的に有意な平均Agree-scoreを示すことが多く、言語を通じて初〜中間層に集中している。
• 英語・フランス語・スペイン語のように形態が比較的単純な言語は層全体で堅牢な性能を示す一方、ドイツ語とロシア語は特定のタスクで層ごとのピークがより明確に現れる。
• 総じて、BERT様モデルの形態情報は中間層で最も顕著になる傾向があり、同意現象のために特定のアテンションヘッド/層の組み合わせに局在させることができる。