[논문 리뷰] Verb Argument Structure Alternations in Word andSentence Embeddings

Katharina Kann, Alex Warstadt외 2명|arXiv (Cornell University)|2019. 01. 01.

Natural Language Processing Techniques참고 문헌 37인용 수 30

한 줄 요약

이 논문은 단어 및 문장 임베딩이 동사 어휘구조 변화에서 미세한 문법적 구분을 포착하는지 조사한다. FAVA(문장 수준)와 LaVA(단어 수준)라는 두 가지 새로운 데이터셋을 사용하여, 모델이 수용 가능한 동사 프레임 조합과 그렇지 않은 조합을 분류할 수 있는지 테스트한 결과, 성능은 변화 유형에 따라 달라지며, 문장 임베딩은 단어 임베딩에 존재하는 일부 정보를 상실한다는 것을 발견했다.

ABSTRACT

Verbs occur in different syntactic environments, or frames. We investigate whether artificial neural networks encode grammatical distinctions necessary for inferring the idiosyncratic frame-selectional properties of verbs. We introduce five datasets, collectively called FAVA, containing in aggregate nearly 10k sentences labeled for grammatical acceptability, illustrating different verbal argument structure alternations. We then test whether models can distinguish acceptable English verb-frame combinations from unacceptable ones using a sentence embedding alone. For converging evidence, we further construct LaVA, a corresponding word-level dataset, and investigate whether the same syntactic features can be extracted from word embeddings. Our models perform reliable classifications for some verbal alternations but not others, suggesting that while these representations do encode fine-grained lexical information, it is incomplete or can be hard to extract. Further, differences between the word- and sentence-level models show that some information present in word embeddings is not passed on to the down-stream sentence embeddings.

연구 동기 및 목표

• 신경망 단어 및 문장 임베딩이 동사 프레임 선택성에 필요한 문법적 구분을 포착하는지 조사하기 위해.
• 문장 임베딩만으로 수용 가능한지 여부를 판단하는 동사-프레임 조합을 분류할 수 있는지 평가하기 위해.
• 문법적 특징을 포착하는 데 있어 단어 수준 및 문장 수준 임베딩 간 정보 유지 능력을 비교하기 위해.
• 어느 종류의 동사 어휘구조 변화가 임베딩으로부터 더 예측 가능하거나 덜 예측 가능한지 특정하기 위해.

제안 방법

• 다섯 가지 동사 어휘구조 변화에 걸쳐 문법적 수용성 여부를 레이블링한 약 10,000개의 문장으로 구성된 FAVA 데이터셋을 구축하였다.
• 단어 수준에서의 비교를 가능하게 하기 위해, FAVA와 대응되는 단어 수준의 데이터셋인 LaVA를 구축하였다.
• 문장 임베딩을 기반으로 동사-프레임 조합의 수용성 여부를 예측하는 분류 모델을 훈련시켰다.
• 유사한 문법적 특징이 단어 수준에서 추출 가능한지 평가하기 위해, 단어 임베딩 기반의 병렬 모델을 훈련시켰다.
• 단어 수준 및 문장 수준의 모델에서 유사한 증거를 통합하여 표현 품질과 정보 유출 여부를 평가하였다.
• 다양한 변화 유형에 걸쳐 모델 성능을 평가하여 표현의 완전성 패턴을 식별하였다.

실험 결과

연구 질문

• RQ1 문장 임베딩은 다양한 어휘구조 변화 유형에 걸쳐 수용 가능한 동사-프레임 조합을 신뢰성 있게 분류할 수 있는가?
• RQ2 얼마나 많은 정도로 단어 임베딩이 프레임 선택에 필요한 문법적 특징을 포착하는가?
• RQ3 동일한 변화 유형에 대해 단어 수준 모델과 문장 수준 모델 간 분류 성능에 차이가 있는가?
• RQ4 어느 종류의 동사 어휘구조 변화가 신경망 임베딩에 더 효과적으로 포착되는가?
• RQ5 단어 임베딩에서의 정보가 후속 문장 임베딩에 유지되는가, 아니면 집계 과정에서 손실되는가?

주요 결과

• 일부 동사 어휘구조 변화 유형에 대해서만 모델이 신뢰할 수 있는 분류 성능를 보이며, 이는 임베딩 내에서 문법적 구분이 완전히 포착되지 않았음을 시사한다.
• 성능은 변화 유형에 따라 크게 달라지며, 이는 모든 문법 패턴이 임베딩에 동일하게 표현되지 않는다는 것을 의미한다.
• 일부 변화 유형에 대해 단어 수준 모델이 문장 수준 모델보다 성능이 뛰어나며, 이는 문장 임베딩이 일부 어휘적 문법 정보를 손실하거나 흐리게 할 수 있음을 암시한다.
• 연구 결과에 따르면, 단어 임베딩에 존재하는 정보가 항상 문장 임베딩에 유지되지 않는다는 것이 드러났으며, 이는 집계 과정에서 정보 손실가능성이 있음을 시사한다.
• 단어 수준 및 문장 수준 모델의 유사한 증거가 종합되어, 임베딩이 미세한 어휘적 정보를 포착하지만, 이는 불완전하고 맥락에 따라 달라진다는 결론을 뒷받침한다.
• 결과적으로 현재의 신경망 표현 방식은 특정 문법 패턴에 민감하지만, 모든 동사 프레임 변화 유형으로 일반화하지 못한다는 점을 시사한다.