[논문 리뷰] On the Ability of Self-Attention Networks to Recognize Counter Languages.

Satwik Bhattamishra, Kabir Ahuja외 1명|arXiv (Cornell University)|2020. 09. 23.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 트랜스포머가 덱-1 및 n-항 부울 표현식과 같은 카운터 언어를 얼마나 잘 인식하는지 분석하기 위해 이러한 언어의 부분집합에 대해 이론적 트랜스포머 아키텍처를 구축한다. 연구 결과, 트랜스포머는 이 부분집합에서 잘 일반화되며, 성능이 제안된 구조와 강하게 일치하지만, 더 복잡한 정규 언어에서는 어려움을 겪으며, 이는 자기주의 주의(self-attention)와 위치 인코딩이 문법적 구조를 모델링하는 데 어떤 역할을 하는지 시사한다.

ABSTRACT

Transformers have supplanted recurrent models in a large number of NLP tasks. However, the differences in their abilities to model different syntactic properties remain largely unknown. Past works suggest that LSTMs generalize very well on regular languages and have close connections with counter languages. In this work, we systematically study the ability of Transformers to model such languages as well as the role of its individual components in doing so. We first provide a construction of Transformers for a subclass of counter languages, including well-studied languages such as n-ary Boolean Expressions, Dyck-1, and its generalizations. In experiments, we find that Transformers do well on this subclass, and their learned mechanism strongly correlates with our construction. Perhaps surprisingly, in contrast to LSTMs, Transformers do well only on a subset of regular languages with degrading performance as we make languages more complex according to a well-known measure of complexity. Our analysis also provides insights on the role of self-attention mechanism in modeling certain behavior and the influence of positional encoding schemes on the learning and generalization ability of the model.

연구 동기 및 목표

• 카운터 언어, 즉 중첩된 구조를 가진 형식 언어의 특성을 모델링할 수 있는 트랜스포머의 능력을 조사하기 위해.
• 카운터 언어에서의 트랜스포머 성능을 더 복잡한 정규 언어에서의 성능와 비교하기 위해.
• 자기주의 주의 및 위치 인코딩이 문법 패턴에 대한 일반화 능력에 어떻게 기여하거나 제한하는지 분석하기 위해.
• 카운터 언어의 부분집합을 인식할 수 있는 이론적 트랜스포머 아키텍처를 구축하기 위해.

제안 방법

• Dyck-1 및 n-항 부울 표현식을 포함한 특정 카운터 언어 부분집합을 인식하도록 최적화된 이론적 트랜스포머 아키텍처를 설계하기 위해.
• 증가하는 복잡도를 가진 다양한 카운터 언어와 정규 언어에서 모델을 훈련하고 평가하기 위해.
• 훈련된 모델의 어텐션 메커니즘을 분석하여 제안된 구조와의 일치도를 평가하기 위해.
• 다양한 위치 인코딩 기법 간의 성능을 비교하여 학습 및 일반화에 미치는 영향을 평가하기 위해.
• 언어의 복잡도 측도를 사용하여 모델 성능과 문법 복잡도 간의 상관관계를 분석하기 위해.

실험 결과

연구 질문

• RQ1 트랜스포머는 Dyck-1 및 n-항 부울 표현식과 같은 카운터 언어의 부분집합을 학습하고 일반화할 수 있는가?
• RQ2 카운터 언어에서의 모델 성능은 더 복잡한 정규 언어에서의 성능와 비교해 어떻게 다를까?
• RQ3 트랜스포머의 자기주의 주의 메커니즘이 중첩된 구조를 인식하기 위한 이론적 구조와 얼마나 일치하는가?
• RQ4 다른 위치 인코딩 기법은 모델의 문법 패턴 학습 및 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 트랜스포머는 연구된 카운터 언어의 부분집합에서 뛰어난 성능를 보이며, 학습된 어텐션 패턴이 제안된 이론적 구조와 밀접하게 일치한다.
• 더 복잡한 정규 언어에서는 성능가 급격히 떨어지며, 특정 종류의 문법적 구조를 초과한 일반화 능력이 제한됨을 시사한다.
• 자기주의 주의 메커니즘이 계층적이고 중첩된 종속성을 모델링하는 데 핵심적인 역할을 하며, 특히 균형 잡힌 괄호와 재귀적 구조를 포착하는 데 유용하다.
• 위치 인코딩 기법은 모델의 학습 및 일반화 능력에 상당한 영향을 미치며, 일부 기법은 문법 작업에서 더 우수한 성능을 내는 데 기여한다.