[논문 리뷰] Verb Argument Structure Alternations in Word and Sentence Embeddings

Katharina Kann, Alex Warstadt외 2명|arXiv (Cornell University)|2018. 11. 27.

Natural Language Processing Techniques참고 문헌 35인용 수 13

한 줄 요약

이 논문은 인공 신경망에서 유도된 단어 및 문장 임베딩이 고도로 세밀한 동사의 문법적 구조 변화—즉, 동사가 나타날 수 있는 문법적 문형—을 인코딩하는지 조사한다. FAVA(문장 수준)와 LaVA(단어 수준)라는 두 가지 새로운 데이터셋을 사용하여, 저자들은 임베딩 기반으로 문법적 수용 가능성 예측을 위한 분류기를 훈련시켰으며, 일부 변화(예: 인도-초기화)는 모델이 신뢰성 있게 탐지하지만, 다른 변화(예: 스프레이-로드)는 어려움을 겪는 것으로 나타나, 임베딩 내에 있는 문법 지식은 완전하거나 추출하기 어려운 경우가 있음을 시사한다.

ABSTRACT

Verbs occur in different syntactic environments, or frames. We investigate whether artificial neural networks encode grammatical distinctions necessary for inferring the idiosyncratic frame-selectional properties of verbs. We introduce five datasets, collectively called FAVA, containing in aggregate nearly 10k sentences labeled for grammatical acceptability, illustrating different verbal argument structure alternations. We then test whether models can distinguish acceptable English verb-frame combinations from unacceptable ones using a sentence embedding alone. For converging evidence, we further construct LaVA, a corresponding word-level dataset, and investigate whether the same syntactic features can be extracted from word embeddings. Our models perform reliable classifications for some verbal alternations but not others, suggesting that while these representations do encode fine-grained lexical information, it is incomplete or can be hard to extract. Further, differences between the word- and sentence-level models show that some information present in word embeddings is not passed on to the down-stream sentence embeddings.

연구 동기 및 목표

• 인공 신경망 임베딩이 동사 문형 선택성에 필요한 문법적 구분을 인코딩하는지 평가하기 위해.
• 단어 임베딩이 동사가 참여할 수 있는 문법적 문형을 예측할 수 있는지 조사하기 위해.
• 문장 임베딩이 문법적 구조에 기반해 동사-문형 조합의 수용 가능성 여부를 분류할 수 있는지 판단하기 위해.
• 단어 수준 및 문장 수준 모델이 동사의 문장 구성 변화를 얼마나 잘 포착하는지 비교하기 위해.
• 단어 임베딩 내의 문법 지식이 후속 문장 임베딩에 얼마나 유지되는지 평가하기 위해.

제안 방법

• 저자들은 약 10,000개의 문장을 포함하고 있으며, 문법적 수용 가능성에 대해 레이블링된 FAVA 데이터셋을 제작하였으며, 이는 다섯 가지 동사 문장 구성 변화(예: 인도-초기화, 이관, 스프레이-로드, there-삽입, 반사적)에 집중한다.
• LaVA 데이터셋은 단어 수준 평가를 위해 제작되었으며, Levin(1993)의 동사 클래스 기반으로, 단어 임베딩이 문형 호환성을 예측할 수 있는지 테스트하기 위해 사용된다.
• 문장 임베딩 기반 이진 수용 가능성 분류기를 훈련시어, 문법적으로 수용 가능한 동사-문형 조합과 그렇지 않은 것을 구분한다.
• 다중 클래스 분류기를 단어 임베딩 기반으로 훈련시어, 동사가 허용하는 문법적 문형을 예측한다.
• 모델 평가에는 FAVA 및 LaVA 데이터셋의 골드 표준 애너테이션을 사용하여 분류 성능을 측정한다.
• 다양한 변화 유형 간 성능을 비교하여, 임베딩에 얼마나 잘 인코딩되어 있는지에 따라 특정 문법적 구조가 더 쉽게 탐지되는지의 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 단어 임베딩만으로 동사의 어휘적 특성에 기반해 어떤 문법적 문형에 참여할 수 있는지 예측할 수 있는가?
• RQ2 주요 동사가 문형 간에 모호할 경우에도 문장 임베딩이 동사-문형 조합의 문법적 수용 가능성 여부를 인코딩하는가?
• RQ3 어느 정도 신경망 임베딩이 동사의 문장 구성 변화 중 어떤 것을 가장 신뢰성 있게 탐지하는가? 그리고 그 이유는 무엇인가?
• RQ4 단어 임베딩에서 유도된 문법 정보가 후속 문장 임베딩에 얼마나 유지되는가?
• RQ5 문법적 복잡도의 차이(예: 참조 인자 수)가 모델이 동사 문형 변화를 학습하는 데 영향을 미치는 정도는 어느 정도인가?

주요 결과

• 모델은 인도-초기화 및 there-삽입과 같은 일부 동사 변화에 대해 수용 가능성 분류에서 안정적으로 성능을 보였다. 이는 불타는 문형을 포함한다.
• 스프레이-로드 변화는 전체 데이터셋의 절반 이상을 차지하고도 가장 학습하기 어려운 것으로 나타나, 높은 빈도의 데이터가 높은 성능을 보장하지는 않음을 시사한다.
• 변화 유형 간 성능에 큰 격차가 있으며, 이중 참조 인자가 많은 다이트라지티브나 전치사구를 포함한 문형보다 불타는 문형이 더 쉽게 탐지된다.
• 어떤 변화에 대해서는 단어 수준 모델이 문장 수준 모델보다 높은 성능을 보이며, 이는 단어 임베딩 내 일부 문법 정보가 문장 임베딩으로 완전히 전이되지 않는다는 것을 시사한다.
• 훈련 예제의 수와 모델 성능 간에 명확한 상관관계가 없으며, 이는 데이터 양만으로는 동사 문형 변화 학습의 성공 여부를 결정하지 못함을 의미한다.
• 결과적으로 신경망 임베딩은 일부 세밀한 문법 지식을 포함하지만, 이는 완전하지 않으며 모든 동사 변화에 대해 균일하게 접근 가능한 것은 아님을 시사한다.