[논문 리뷰] COGS: A Compositional Generalization Challenge Based on Semantic Interpretation

Najoung Kim, Tal Linzen|arXiv (Cornell University)|2020. 10. 12.

Natural Language Processing Techniques참고 문헌 33인용 수 8

한 줄 요약

COGS는 자연어처리 모델의 조합 일반화 능력을 평가하기 위해 체계적인 분포 외 갭(예: 익숙한 단어와 문법 구조의 새로운 조합)을 도입한 의미 해석 벤치마크이다. 이는 모델이 훈련 데이터를 초월해 일반화할 수 있도록 요구한다. 비록 내분포 정확도가 거의 완벽한 96–99%를 기록했음에도 불구하고, 트랜스포머와 LSTMs는 일반화 정확도가 16–35%에 불과하며, 무작위 시드에 매우 민감하여 조합 일반화 능력에 대한 근본적인 한계를 드러낸다.

ABSTRACT

Natural language is characterized by compositionality: the meaning of a complex expression is constructed from the meanings of its constituent parts. To facilitate the evaluation of the compositional abilities of language processing architectures, we introduce COGS, a semantic parsing dataset based on a fragment of English. The evaluation portion of COGS contains multiple systematic gaps that can only be addressed by compositional generalization; these include new combinations of familiar syntactic structures, or new combinations of familiar words and familiar structures. In experiments with Transformers and LSTMs, we found that in-distribution accuracy on the COGS test set was near-perfect (96--99%), but generalization accuracy was substantially lower (16--35%) and showed high sensitivity to random seed ($\pm$6--8%). These findings indicate that contemporary standard NLP models are limited in their compositional generalization capacity, and position COGS as a good way to measure progress.

연구 동기 및 목표

• 간단한 패tern 매칭을 넘어서 조합 일반화 능력을 시험할 수 있는 견고한 벤치마크가 부족한 문제를 해결하기 위해.
• 최근의 신경망 아키텍처인 트랜스포머와 LSTMs가 훈련 중에 보지 못한 익숙한 문법적 구조와 단어의 새로운 조합에 대해 조합적으로 일반화할 수 있는지 평가하기 위해.
• 현재 모델의 인덕티브 바이어스에 대한 한계를 드러내는 구조적 및 어휘적 일반화 갭을 특정하기 위해.
• 형식 의미론에 기반한 람다 계산 기반 의미 표현을 사용하여 언어학적으로 타당하고 조합적으로 충실한 의미를 보장하는 기반을 제공하기 위해.

제안 방법

• COGS는 영어의 일부 분절을 기반으로 의미 해석 데이터셋을 구성하며, 훈련 및 평가 세트 간의 구조적 및 어휘적 조합에서 체계적인 차이를 둔다.
• 평가 세트에는 새로운 어휘-문법 조합, 익숙한 구문에 대한 새로운 문법적 역할, 오른쪽 분지 구조에서 깊이 12까지의 더 깊은 임bedding 수준 등 체계적인 갭이 포함되어 있다.
• 의미 표현은 형식 의미론에 영향을 받아 람다 계산을 사용하여 생성되며, 조합적 구조와 의미의 일치를 보장한다.
• 모델들은 자연어 문장을 해당 의미 형식으로 매핑하기 위해 시퀀스 투 시퀀스 학습을 사용하며, 의미 해석을 시퀀스 투 시퀀스 작업으로 간주한다.
• 일반화 과제에는 익숙한 단어를 새로운 문법적 역할(예: 주어 위치에 목적어로 쓰인 명사구)에 적용하는 것, 동사의 어휘 구조 변화, 관측되지 않은 문법적 위치에서의 부사어 수정 등을 포함한다.
• 모델들은 제어된 변형을 통해 구조적 일반화(예: 새로운 어절 중첩 깊이)와 어휘적 일반화(예: 새로운 어휘-구조 쌍)를 테스트하며, 모든 구조는 형식 문법에 기반한다.

실험 결과

연구 질문

• RQ1 트랜스포머와 LSTMs와 같은 표준 신경어휘 모델은 훈련 중에 볼 수 없었던 익숙한 단어와 문법적 구조의 새로운 조합에 대해 조합적으로 일반화할 수 있는가?
• RQ2 일반화 성능가 무작위 시드에 따라 얼마나 변동하는가? 이는 조합적 인덕티브 바이어스 학습의 불안정성을 시사하는가?
• RQ3 구조적 일반화(예: 새로운 어절 중첩 또는 어휘적 역할 이동)는 어휘적 일반화(예: 새로운 어휘-구조 쌍)보다 더 큰 과제인가?
• RQ4 깊이 12의 문법적 임베딩 깊이에 일반화할 수 있는가? 인간의 처리 능력이 유사 깊이에서 떨어지는 것과는 대조적으로 말이다.
• RQ5 훈련 데이터에 특정 문법적 구성(예: 주어 위치에 부사어 수식어)이 없더라도 의미가 조합적으로 유도 가능한 경우, 모델이 이를 일반화할 수 있는가?

주요 결과

• 트랜스포머와 LSTMs의 COGS 내분포 테스트 정확도는 일관되게 96%에서 99% 사이였으며, 볼 수 있는 패턴에 대해 강력한 성능를 보였다.
• 분포 외 일반화 정확도는 상당히 낮았으며, 16%에서 35% 사이였으며, 조합 일반화 실패를 강력하게 드러냈다.
• 일반화 성능는 무작위 시드에 매우 민감했으며, 런 당 표준편차가 6–8%로 나타나 조합적 인덕티브 바이어스 학습의 불안정성을 시사했다.
• 구조적 일반화(예: 새로운 문법적 구조 조합 또는 익숙한 어구에 새로운 문법적 역할 부여)는 어휘적 일반화(단지 새로운 어휘-구조 쌍)보다 더 어려웠다.
• 모델들은 깊이 12의 임베딩 깊이에 일반화하는 데 상당히 어려움을 겪었으며, 깊이 3에서 거의 0%의 정확도를 기록하여 강력한 구조적 인덕티브 바이어스의 부족함을 시사했다.
• 결과적으로 현재 표준 NLP 모델들이 인간 수준의 체계성(시스템성)을 가지기 위해 필요한 조합적 인덕티브 바이어스를 갖추지 못하고 있음을 시사한다. 이는 제어된 문법 기반으로 훈련을 처음부터 수행한 경우에도 마찬가지이다.