[論文レビュー] Does BERT agree? Evaluating knowledge of structure dependence through agreement relations

Geoff Bacon, Terry Regier|arXiv (Cornell University)|Aug 26, 2019

Topic Modeling参考文献 30被引用数 14

ひとこと要約

この論文は、26の言語と4つの一致タイプ（主語・動詞、名詞・限定語、名詞・形容詞、述語・形容詞）における構造依存的一致関係を捉える能力について、クローズ形式のマスキング言語モデルタスクを用いてBERTの性能を評価している。BERTは全体的に高い性能を示すが、依存距離が長くなり、分散要因の数が増えれば徐々に精度が低下する傾向を示しており、英語の主語・動詞一致を超えた構文的一般化は強固ではあるが限定的であることが示唆される。

ABSTRACT

Learning representations that accurately model semantics is an important goal of natural language processing research. Many semantic phenomena depend on syntactic structure. Recent work examines the extent to which state-of-the-art models for pre-training representations, such as BERT, capture such structure-dependent phenomena, but is largely restricted to one phenomenon in English: number agreement between subjects and verbs. We evaluate BERT's sensitivity to four types of structure-dependent agreement relations in a new semi-automatically curated dataset across 26 languages. We show that both the single-language and multilingual BERT models capture syntax-sensitive agreement patterns well in general, but we also highlight the specific linguistic contexts in which their performance degrades.

研究の動機と目的

• BERTが英語の主語・動詞の数一致にとどまらず、構造依存的一致関係をどの程度捉えられるかを評価すること。
• 26の言語的多様性を持つ言語にわたる4つの一致タイプの関係への評価を拡大すること。
• 依存距離と分散要因の数が、BERTの一致タスクにおける性能にどのように影響するかを調査すること。
• 今後の研究を支援するため、新たな部分的に自動で整備された跨言語的データセットを公開すること。

提案手法

• 26の言語をカバーする構造依存的一致関係の新しい跨言語的データセットを構築した。4つのタイプ（主語・動詞、名詞・限定語、名詞・形容詞、述語・形容詞）を含む。
• クローズ形式のマスキング言語モデル設定を用い、一致ペア内の1語をマスキングし、BERTが欠落した語を予測するようにした。
• 分散要因と依存距離の制御を加え、全言語・全一致タイプの精度を用いて性能を評価した。
• 言語および一致タイプごとの結果を集約し、構造的複雑さに対する全体的な頑健性と感受性を評価した。
• 性能プロットにおける統計的信頼性を確保するため、ブートストラップを用いた95％信頼区間を誤差棒に適用した。
• 今後の作業として、冗長な手がかりを減らし、評価方式を比較するため、コントローラーとターゲットの二重マスキングを計画している。

実験結果

リサーチクエスチョン

• RQ1 BERTは、英語の主語・動詞の数一致にとどまらず、どの程度構文的感度を持つ一致パターンを一般化できるか？
• RQ2 BERTの性能は、異なる一致タイプ（例：限定語、形容詞、述語）や屈折的・構文的特徴（例：数、性）によってどのように変化するか？
• RQ3 依存距離と分散要因の数は、BERTの一致予測の精度にどのように影響するか？
• RQ4 特に語形が豊富な言語や言語タイプが著しく異なる言語において、BERTの一致性能に言語固有のパターンが見られるか？

主な発見

• BERTは26の言語で構造依存的一致関係に対して高い精度（80％以上）を達成しており、構文的構造知識の強力な一般化を示している。
• コントローラーとターゲットの距離が長くなるにつれて、わずかだが一貫して精度が低下しており、長距離依存性に感受性があることが示唆される。
• 分散要因（特徴が矛盾する名詞）が増えると、特に数個を越えると精度の低下が顕著に現れる。
• 多言語BERTは、大多数の言語で単言語BERTと同等の性能を示すが、言語のタイプ学的特徴や屈折的複雑さによって性能にばらつきが生じる。
• 全体として、分散要因や長距離依存性に頑健であるが、劣化のパターンから、高い構造的曖昧性の処理には限界があることが示唆される。
• 本研究では、BERTの成功が単純なヒューリスティクスによるものではないことが判明しており、複数の矛盾する手がかりがあっても性能が安定している。