[論文レビュー] Formal Language Theory Meets Modern NLP

William Merrill|arXiv (Cornell University)|Feb 19, 2021

Natural Language Processing Techniques参考文献 53被引用数 6

ひとこと要約

本稿は、形式言語理論と現代のNLPを橋渡しするものであり、自動機械理論とチョムスキー階層の観点から、特にトランスフォーマーを含むニューラルネットワークアーキテクチャを分析している。飽和トランスフォーマーは正則言語および文脈自由言語を認識可能であるのに対し、バウンデッドアテンションバージョンでは不可能であり、理論的保証を伴う標準自己アテンションのスケーラブルな代替手法としてランダム特徴アテンションを提案している。

ABSTRACT

NLP is deeply intertwined with the formal study of language, both conceptually and historically. Arguably, this connection goes all the way back to Chomsky's Syntactic Structures in 1957. It also still holds true today, with a strand of recent works building formal analysis of modern neural networks methods in terms of formal languages. In this document, I aim to explain background about formal languages as they relate to this recent work. I will by necessity ignore large parts of the rich history of this field, instead focusing on concepts connecting to modern deep learning-based NLP.

研究の動機と目的

• 古典的形式言語理論と現代の深層学習に基づくNLPアーキテクチャを結びつけること。
• 自動機械的枠組みを用いて、トランスフォーマーのようなニューラルネットワークの表現能力を調査すること。
• アテンション機構の制限、特にDyck言語やパリティ言語のような複雑な文法的パターンの認識における限界を分析すること。
• 理論的根拠を伴うスケーラブルな自己アテンションの代替手法（例：ランダム特徴アテンション）を提案すること。
• 形式的言語理論を用いて、今後の解釈可能性、誘導的バイアス、耐障害性に関するNLPモデルの研究を導くこと。

提案手法

• 正則言語および文脈従属言語の認識をモデル化するために、有限状態オートマトンおよび重み付き有限状態オートマトン（WFAs）を用いる。
• Hankel行列理論を適用して、文字列サンプルからのWFAsの学習可能性と同定可能性を分析する。
• 飽和トランスフォーマーを記憶容量が限界のある有限オートマトンとしてモデル化し、文脈自由言語を認識可能であることを示す。
• 回路複雑性を用いてアテンション機構を分析し、ハードアテンショントランスフォーマーがパリティ言語やDyck言語を認識できないことを証明する。
• ランダム特徴近似（Rahimi & Recht, 2008）を用いて、ランダム特徴アテンション（RFA）を導出し、アテンションの複雑性をO(MN)からO(M+N)に低減する。
• 位置エンコーディングの理論的分析を用いて、トランスフォーマーが相対的位置関係を検出するためにそれが必要であることを示す。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー・ネットワークの形式的言語能力は、文脈自由言語や非文脈自由言語の認識という観点でどの程度か？
• RQ2 受容領域が限界のあるアテンション機構は、モデルが学習可能な言語的パターンにどのような制限を及えるか？
• RQ3 ランダム特徴アテンションは、自己アテンションの表現力を保持しつつ、線形時間の推論を可能にするか？
• RQ4 どの程度まで形式的言語理論を用いて、NLPモデルにおける頑健な言語一般化とデータセットアーチファクトを区別できるか？
• RQ5 チョムスキー階層を超えて、有限長の文字列を考慮する非自明な言語パターンの複雑性理論を構築できるか？

主な発見

• 飽和トランスフォーマーは、無限記憶と対称的アテンションパターンのおかげで、すべての正則言語および一部の文脈自由言語（Dyck言語を含む）を認識可能である。
• 受容領域が限界のあるハードアテンショントランスフォーマーは、回路複雑性の議論により、パリティ言語やDyck言語を認識できないことが示された。
• ランダム特徴アテンション（RFA）は、自己アテンション機構を理論的保証とともに近似し、内積がRBFカーネルを近似することを保証しており、計算時間はO(M+N)にまで低減可能である。
• 位置エンコーディングは、トランスフォーマーが相対的位置関係を検出するために不可欠である。それがないと、a*bのような単純な正則言語ですら認識できない。
• 重み付き有限状態オートマトン（WFAs）は、Hankel行列法を用いて文字列サンプルから学習可能であり、潜在的な言語的構造の学習に形式的基盤を提供する。
• 理論的分析により、標準トランスフォーマーが特定の言語クラスに強い誘導的バイアスを持つことが判明し、形式的言語理論がアーキテクチャ設計および解釈可能性に寄与できる可能性が示された。