[논문 리뷰] Probing What Different NLP Tasks Teach Machines about Function Word Comprehension

Najoung Kim, Roma Patel외 10명|arXiv (Cornell University)|2019. 04. 25.

Topic Modeling참고 문헌 45인용 수 4

한 줄 요약

이 논문은 기존 데이터셋에서 문장을 구조적으로 변형시켜 기능어(예: 전치사, wh-어휘, 부정어) 이해도를 평가하기 위해 아홉 개의 타겟팅된 탐색 작업을 도입한다. 이러한 작업을 통해 언어 모델링, NLI, CCG 슈퍼태깅 등의 사전학습 목표를 비교하며, 언어 모델링이 평균적으로 가장 우수한 성능을 보이며, NLI는 부정어 이해를 향상시키고, CCG 슈퍼태깅은 문장 경계 탐지 능력을 향상시켜 각 목표가 서로 다른 언어적 인도적 편향을 지닌다는 것을 밝혀낸다.

ABSTRACT

We introduce a set of nine challenge tasks that test for the understanding of function words. These tasks are created by structurally mutating sentences from existing datasets to target the comprehension of specific types of function words (e.g., prepositions, wh-words). Using these probing tasks, we explore the effects of various pretraining objectives for sentence encoders (e.g., language modeling, CCG supertagging and natural language inference (NLI)) on the learned representations. Our results show that pretraining on language modeling performs the best on average across our probing tasks, supporting its widespread use for pretraining state-of-the-art NLP models, and CCG supertagging and NLI pretraining perform comparably. Overall, no pretraining objective dominates across the board, and our function word probing tasks highlight several intuitive differences between pretraining objectives, e.g., that NLI helps the comprehension of negation.

연구 동기 및 목표

• 다양한 사전학습 목표가 기능어 이해도에 따라 문장 표현 방식이 어떻게 형성되는지 조사하기 위해.
• 모델 아키텍처를 일정하게 유지함으로써 사전학습 목표의 영향을 분리하고, 통제된 비교를 가능하게 하기 위해.
• 기능어가 조합적 의미에 핵심적인 역할을 하므로, 탐색 문헌에서 그들의 부족한 대표성을 해결하기 위해.
• 향후 기능어 이해 연구를 위한 고품질이고 언어학적으로 정제된 탐색 데이터셋을 공개하기 위해.

제안 방법

• 저자는 기존 데이터셋의 문장을 대상으로 타겟팅된 구조적 변형을 가하여 아홉 개의 탐색 작업을 생성하며, 전치사, 부정어, 정량어 등 특정 기능어 유형에 집중한다.
• 각 작업은 최소한의 문법적 또는 어휘적 수정이 유도하는 의미 변화를 모델이 정확히 식별할 수 있는지 평가한다.
• 탐색 작업은 문장 쌍 분류 문제로 설계되며, 모델은 수정된 문장이 원래 문장의 의미를 유지하는지 판단해야 한다.
• 동일한 모델 아키텍처에서 언어 모델링, CCG 슈퍼태깅, 자연어 추론 등의 다양한 사전학습 목표를 평가한다.
• 각 사전학습 목표가 인코딩한 언어 지식을 비교하기 위해 아홉 개 전반적인 작업에서 성능을 측정한다.
• 사전학습 데이터 크기와 사전학습 및 탐색 데이터셋 간 어휘 겹침 여부의 영향을 평가하기 위해 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 사전학습 목표는 전치사, wh-어휘, 부정어와 같은 기능어 이해도에 어떤 영향을 미치는가?
• RQ2 다양한 언어 현상에 걸쳐 가장 강력한 기능어 이해도를 보이는 사전학습 목표는 무엇인가?
• RQ3 사전학습 목표에서 유래한 언어적 인도적 편향이 문장 인코더 내 기능어 표현 방식에 얼마나 깊이 영향을 미치는가?
• RQ4 특정 기능어 유형(예: 공간적 vs. 부정어)에 따라 사전학습 목표에 따라 모델의 처리 방식에 체계적인 차이가 존재하는가?
• RQ5 사전학습 데이터 크기를 늘리거나 사전학습 및 탐색 데이터셋 간 어휘 겹침을 늘리면 기능어 탐색 성능이 일관되게 향상되는가?

주요 결과

• 언어 모델링 사전학습이 아홉 개 탐색 작업 전반에서 평균적으로 가장 높은 성능을 기록하며, 현재 NLP 실무에서의 우수성을 뒷받침한다.
• 자연어 추론(NLI) 사전학습은 특히 복잡한 부정 패턴에서 부정어 이해 능력을 크게 향상시킨다.
• CCG 슈퍼태깅 사전학습은 의미 있는 문장 경계 탐지 능력을 향상시켜, 이 목표가 문법적 구조를 더 효과적으로 포착한다는 것을 시사한다.
• 모든 기능어 유형에서 한 가지 사전학습 목표가 다른 모든 목표를 압도적으로 뛰어넘는 것은 아니며, 목표들 간에 상호보완적인 강점이 있음을 시사한다.
• 사전학습 및 탐색 데이터셋 간 어휘 겹침 여부는 성능 예측 요소로 유의미하지 않으며, 성능 차이가 어휘 노출 때문이 아니라 언어적 인도적 편향 때문임을 시사한다.
• 사전학습 데이터 크기가 성능 향상에 일관되게 기여하지는 않으며, 일부 경우에서는 더 큰 데이터셋이 오히려 성능을 떨어뜨릴 수 있어, 잠재적인 부정적 인도적 편향이 존재할 수 있음을 시사한다.