[논문 리뷰] Linguistic Analysis of Pretrained Sentence Encoders with Acceptability Judgments

Alex Warstadt, Samuel R. Bowman|arXiv (Cornell University)|2019. 01. 11.

Topic Modeling참고 문헌 34인용 수 19

한 줄 요약

이 논문은 CoLA 개발 세트의 1,043개 문장을 13개의 문법 현상으로 레이블링하여 사전에 학습된 문장 인코더의 미세한, 언어학적으로 주석이 달린 평가 세트를 제안한다. 이 데이터셋을 사용하여 저자들은 BERT, GPT, 그리고 BiLSTM 기반 모델을 탐색 분석하였으며, 모든 모델이 복잡한 목적어 구조를 잘 다루는 것으로 나타났지만, 질문과 같은 장거리 의존성은 여전히 도전 과제로 남아 있다. 특히 BiLSTM는 BERT와 GPT에 비해 뚜렷한 성능 격차를 보였다.

ABSTRACT

Recent work on evaluating grammatical knowledge in pretrained sentence encoders gives a fine-grained view of a small number of phenomena. We introduce a new analysis dataset that also has broad coverage of linguistic phenomena. We annotate the development set of the Corpus of Linguistic Acceptability (CoLA; Warstadt et al., 2018) for the presence of 13 classes of syntactic phenomena including various forms of argument alternations, movement, and modification. We use this analysis set to investigate the grammatical knowledge of three pretrained encoders: BERT (Devlin et al., 2018), GPT (Radford et al., 2018), and the BiLSTM baseline from Warstadt et al. We find that these models have a strong command of complex or non-canonical argument structures like ditransitives (Sue gave Dan a book) and passives (The book was read). Sentences with long distance dependencies like questions (What do you think I ate?) challenge all models, but for these, BERT and GPT have a distinct advantage over the baseline. We conclude that recent sentence encoders, despite showing near-human performance on acceptability classification overall, still fail to make fine-grained grammaticality distinctions for many complex syntactic structures.

연구 동기 및 목표

• 사전에 학습된 문장 인코더에 대한 미세한, 도메인에 관계없이 일반적인 언어학적 평가의 부족을 해결하기 위해, 수용성 평가와 특정 문법 현상 간의 연결을 제공하는 데이터셋을 구축하는 것.
• BERT, GPT, 그리고 BiLSTM 기반 모델이 다양한 문법적 구조, 특히 목적어의 교환, 이동, 수식어를 포함한 이해 정도를 조사하는 것.
• 현재 모델이 가장 큰 도전에 직면하는 문법 현상, 특히 장거리 의존성과 비표준 구조에서의 과제를 특정하는 것.
• 모델 성능과 이론적 언어학 개념 간의 직접적인 비교를 가능하게 하는 언어학적으로 해석 가능한 벤치마크를 제공하는 것.

제안 방법

• 주류 학술 논문에서 제공하는 전문가 언어학 지식을 활용하여, CoLA 개발 세트를 13개의 문법 현상 유형으로 주석 처리하며, 각 유형은 더 구체적인 구성요소의 결합으로 정의된다.
• 주석 처리된 데이터셋을 탐색 작업으로 활용: 사전에 학습된 문장 인코더(BERT, GPT, BiLSTM)의 출력에 작은 분류기 모델을 추가하여 수용성 예측을 수행한다.
• 모델 성능을 특정 문법 유형에서 평가하며, 현상 간 정확도 비교를 통해 상대적 강점과 약점을 파악한다.
• 수동태, 강조문, 질문, 생략, 수식어 등과 같은 현상에 집중하여 문법적 복잡성과 구조적 거리에 대한 민감도를 평가한다.
• 원본 CoLA 데이터셋을 수용성 평가의 근거로 사용하면서, 세분화된 문법 주석을 추가하여 미세한 분석이 가능하도록 한다.
• 표준 탐색 방법론을 적용하여 일반적인 표현 학습에서 문법 지식을 분리하고, 수용성 예측을 진단 작업으로 간주한다.

실험 결과

연구 질문

• RQ1 사전에 학습된 문장 인코더인 BERT와 GPT가 장거리 의존성을 포함한 현상에서 BiLSTM 기반 모델과 비교해 가장 어려운 것으로 나타나는 문법 현상은 무엇인가?
• RQ2 BERT와 GPT가 질문이나 강조문과 같은 장거리 의존성을 포함한 현상에서 BiLSTM에 비해 얼마나 더 뛰어난 문법 지식을 보이는가?
• RQ3 수동태나 이중 목적어 구조와 같은 비표준 목적어 구조는 모델 성능에 어떤 영향을 미치며, 이는 상당한 과제로 작용하는가?
• RQ4 BERT와 GPT가 BiLSTM에 비해 유의미한 이점이 없는 특정 문법 구성이 존재하는가? 이러한 결과는 그들의 언어 일반화 능력에 대해 어떤 시사점을 갖는가?
• RQ5 이 모델들은 수용성과 같은 미세한 문법 위반, 예를 들어 동질성 또는 어순 오류를 얼마나 잘 구분하는가?

주요 결과

• BERT와 GPT는 강조문(예: 'It is Bo that left')과 장거리 의존성을 포함한 질문(예: 'What do you think I ate?')과 같은 이동 현상에서 BiLSTM보다 유의미하게 높은 정확도를 기록한다.
• BiLSTM 모델은 장거리 의존성에서 가장 어려움을 겪는 반면, BERT와 GPT는 강력한 성능을 유지하여, 이들의 주의 메커니즘이 구조적 복잡성 처리에 더 유리함을 시사한다.
• 수동태(예: 'The book was read')나 이중 목적어 구조(예: 'Sue gave Dan a book')와 같은 비표준 목적어 구조는 모든 모델이 잘 이해하고 있어, 목적어 교환 패턴에 대한 강력한 학습 능력을 보인다.
• 수식어를 포함한 구성(예: 'Sue exercises in the morning')은 모든 모델 간에 유의미한 성능 차이가 없어, 이는 어떤 인코더에게도 특별히 도전적인 요소가 아님을 시사한다.
• 생략과 대명사 참조(예: 'I saw Bill while you did so Mary')는 모든 모델이 어려움을 겪지만, BERT와 GPT는 BiLSTM에 비해 약간의 이점을 보인다.
• 이 연구는 전체 수용성 분류에서 거의 인간 수준의 성능을 보이지만, 복잡한 문법적 구조, 특히 장거리 의존성을 포함한 경우에 미세한 문법적 구분을 여전히 실패하고 있음을 드러낸다.