[論文レビュー] On the Ability of Self-Attention Networks to Recognize Counter Languages.

Satwik Bhattamishra, Kabir Ahuja+1 more|arXiv (Cornell University)|Sep 23, 2020

Topic Modeling被引用数 7

ひとこと要約

この論文は、Dyck-1 や n-ary ブール式などのカウンタ言語を、これらの言語の部分クラスに対して理論的トランスフォーマー構造を構築することで、トランスフォーマーがどの程度認識できるかを調査する。モデルはこの部分クラスにおいて良好な一般化を示し、性能が提示された構造と強く一致するが、より複雑な正則言語では困難を示し、自己注意機構と位置エンコーディングが文法的構造をモデル化する役割を果たすことが明らかになる。

ABSTRACT

Transformers have supplanted recurrent models in a large number of NLP tasks. However, the differences in their abilities to model different syntactic properties remain largely unknown. Past works suggest that LSTMs generalize very well on regular languages and have close connections with counter languages. In this work, we systematically study the ability of Transformers to model such languages as well as the role of its individual components in doing so. We first provide a construction of Transformers for a subclass of counter languages, including well-studied languages such as n-ary Boolean Expressions, Dyck-1, and its generalizations. In experiments, we find that Transformers do well on this subclass, and their learned mechanism strongly correlates with our construction. Perhaps surprisingly, in contrast to LSTMs, Transformers do well only on a subset of regular languages with degrading performance as we make languages more complex according to a well-known measure of complexity. Our analysis also provides insights on the role of self-attention mechanism in modeling certain behavior and the influence of positional encoding schemes on the learning and generalization ability of the model.

研究の動機と目的

• カウンタ言語、つまりネスト構造を持つ形式言語をモデル化する能力を、トランスフォーマーがどの程度持っているかを調査すること。
• トランスフォーマーの性能を、より複雑な正則言語との比較によって評価すること。
• 自己注意機構と位置エンコーディングが、文法的パターンの一般化を可能にするか、あるいは制限するかの役割を分析すること。
• カウンタ言語の部分クラスを認識できる理論的トランスフォーマー構造を構築すること。

提案手法

• Dyck-1 や n-ary ブール式を含む、特定のカウンタ言語の部分クラスを認識できるように設計された理論的トランスフォーマー構造を構築する。
• 増加する複雑さを示すさまざまなカウンタ言語と正則言語に対して、モデルを訓練および評価する。
• 訓練済みモデルの注意メカニズムを分析し、提示された構造との整合性を評価する。
• 異なる位置エンコーディング方式の性能を比較し、学習および一般化への影響を評価する。
• 言語の複雑さを測る指標を用い、モデルの性能と文法的複雑さの相関関係を分析する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーは、Dyck-1 や n-ary ブール式といったカウンタ言語の部分クラスを学習し、一般化できるか？
• RQ2 トランスフォーマーのカウンタ言語における性能は、より複雑な正則言語における性能と比べてどう異なるか？
• RQ3 トランスフォーマーの自己注意機構は、ネスト構造を認識するための理論的構造とどの程度一致するか？
• RQ4 異なる位置エンコーディング方式は、モデルの文法的パターンの学習および一般化能力にどのように影響するか？

主な発見

• トランスフォーマーは、調査されたカウンタ言語の部分クラスにおいて優れた性能を示し、学習された注意パターンは提示された理論的構造と密接に一致する。
• より複雑な正則言語では性能が著しく低下し、特定の種類の文法的構造を超えた一般化能力に限界があることが示唆される。
• 自己注意機構は、階層的およびネストされた依存関係をモデル化する上で重要な役割を果たしており、特にバランスの取れた括弧構造や再帰的構造を捉えるのに有効である。
• 位置エンコーディング方式は、モデルの学習および一般化能力に顕著な影響を与えることがあり、特定の方式が文法的タスクにおける性能を向上させる。