[논문 리뷰] Causal Transformers Perform Below Chance on Recursive Nested Constructions, Unlike Humans

Yair Lakretz, Théo Desbordes외 2명|arXiv (Cornell University)|2021. 10. 14.

Topic Modeling인용 수 5

한 줄 요약

이 연구는 최신의 트랜스포머 언어 모델이 인간과 동일한 정도로 재귀적이고 중첩된 문법적 구성 요소를 처리할 수 있는지 평가한다. 짧은 범위의 내장 의존성에서는 거의 완벽한 성능을 보였지만, 장거리 내장 의존성에서는 오히려 우연보다 낮은 성능을 보이며, 세 단어로 된 전치사구가 추가될 때 급격히 성능이 떨어짐으로써, 트랜스포머가 재귀적이고 구조 민감한 처리에서 심각한 취약성을 보이고 있음을 드러내며, 이는 이전의 RNN-LM 연구 결과와 유사함.

ABSTRACT

Recursive processing is considered a hallmark of human linguistic abilities. A recent study evaluated recursive processing in recurrent neural language models (RNN-LMs) and showed that such models perform below chance level on embedded dependencies within nested constructions -- a prototypical example of recursion in natural language. Here, we study if state-of-the-art Transformer LMs do any better. We test four different Transformer LMs on two different types of nested constructions, which differ in whether the embedded (inner) dependency is short or long range. We find that Transformers achieve near-perfect performance on short-range embedded dependencies, significantly better than previous results reported for RNN-LMs and humans. However, on long-range embedded dependencies, Transformers' performance sharply drops below chance level. Remarkably, the addition of only three words to the embedded dependency caused Transformers to fall from near-perfect to below-chance performance. Taken together, our results reveal Transformers' shortcoming when it comes to recursive, structure-based, processing.

연구 동기 및 목표

• 최신 트랜스포머 언어 모델이 재귀적이고 중첩된 문법적 구조를 처리하는 데서 RNN-LM을 능가하는지 조사하기.
• 수치 일치 작업에서 짧은 범위의 내장 의존성과 장거리 내장 의존성 간의 모델 성능을 비교하기.
• 트랜스포머가 재귀적 구성에서 RNN-LM과 유사한 처리의 취약성을 보이는지 검토하기.
• 모델의 오류 패턴이 마크드니스 효과와 같은 인간의 언어적 편향을 반영하는지 또는 이와 다름을 탐색하기.
• 최소한의 문법적 복잡성(예: 세 단어로 된 전치사구)을 추가했을 때 재귀적 의존성 처리 성능이 극적으로 악화되는지 평가하기.

제안 방법

• GPT2-XL, GPT2-Large, GPT2-Medium, GPT2의 네 가지 사전 학습된 트랜스포머 언어 모델을 두 가지 문법 작업(Short-Nested 및 Long-Nested 구성)에서 평가함.
• 주어와 동사 간의 수 일치가 필요로 하는 내장 의존성을 포함한 문장 쌍을 설계하였으며, 조건에 따라 문법적 수(단수/복수)를 변화시킴.
• 주어(외부) 및 내장(내부) 의존성에 대한 일치 결정 오류율을 측정하여 모델 성능을 측정함.
• 모델 간 및 작업 간 성능를 비교하며, 특히 주어(단수)와 동사(복수) 간 불일치 조건(예: 단수 주어에 복수 동사)을 중심으로 편향과 일반화 능력을 평가함.
• 내장 의존성에 세 단어의 전치사구를 추가함으로써 최소한의 문법적 변화를 유도하고 성능 변화를 분석함.
• 이전 연구에서 확보한 인간 성능 기준을 활용하여 모델 행동을 해석함. 특히 마크드니스 효과와의 관계에서.

실험 결과

연구 질문

• RQ1 트랜스포머 언어 모델이 재귀적이고 중첩된 문법적 구성에서 RNN-LM을 능가하는가?
• RQ2 재귀적 구조에서 짧은 범위의 내장 의존성과 장거리 내장 의존성 간의 모델 성능는 어떻게 다름?
• RQ3 내장 의존성에 최소한의 문법적 수정(예: 전치사구 추가)이 가해질 경우 모델 성능는 어떻게 변화하는가?
• RQ4 트랜스포머가 재귀적 처리에서 RNN-LM과 동일한 오류 패턴을 보이며, 특히 내장 의존성에서 우연보다 낮은 성능를 보이는가?
• RQ5 모델의 오류 패턴이 마크드니스 효과와 같은 인간의 언어적 편향을 어느 정도 반영하거나 이질적인가?

주요 결과

• 짧은 범위의 내장 의존성에서는 트랜스포머가 모든 조건에서 거의 완벽한 성능를 보이며 오류율이 거의 0에 가까움.
• 장거리 내장 의존성에서는 트랜스포머의 오류율이 우연보다 낮아졌으며, 특히 PSP 조건(복수 주어, 단수 동사)에서 체계적인 실패를 보임.
• 내장 의존성에 단지 세 단어(예: 'near the cabinet')를 추가하기만 해도 성능가 거의 완벽한 수준에서 우연보다 낮은 수준으로 급격히 떨어짐.
• 모든 모델(트랜스포머 및 LSTM 포함)이 주어가 단수일 때 더 많은 오류를 범하는 일관된 경향을 보이며, 이는 마크드니스 효과를 반영함.
• 주(더 긴) 의존성의 성능는 여전히 우연보다 높았으며, 이는 길이 자체가 재귀적 내장보다 더 해로운 영향을 미치지 않음을 시사함.
• 다양한 NLP 과제에서 뛰어난 성능를 보였음에도 불구하고, 트랜스포머는 재귀적이고 구조 민감한 의존성 처리에서 심각한 취약성을 보이며, 이는 RNN-LM의 단점을 그대로 반영함.