[논문 리뷰] Prepositions in Context

Hongyu Gong, Jiaqi Mu외 2명|arXiv (Cornell University)|2017. 02. 05.

Natural Language Processing Techniques참고 문헌 33인용 수 3

한 줄 요약

이 논문은 SemEval 2007 및 OEC 데이터셋에서 최고 성능을 기록한 자원에 의존하지 않는 전치사 의미 해석(PSD) 방법을 제안한다. 이 방법은 전치사 주변의 단어 벡터 기하학을 활용해 맥락 특징을 군집화하며, 의미별 전치사 임베딩을 학습하여 의미 관계를 포착하고 단순한 벡터 연산을 통해 파생어구의 어색한 표현을 가능하게 한다.

ABSTRACT

Prepositions are highly polysemous, and their variegated senses encode significant semantic information. In this paper we match each preposition's complement and attachment and their interplay crucially to the geometry of the word vectors to the left and right of the preposition. Extracting such features from the vast number of instances of each preposition and clustering them makes for an efficient preposition sense disambigution (PSD) algorithm, which is comparable to and better than state-of-the-art on two benchmark datasets. Our reliance on no external linguistic resource allows us to scale the PSD algorithm to a large WikiCorpus and learn sense-specific preposition representations -- which we show to encode semantic relations and paraphrasing of verb particle compounds, via simple vector operations.

연구 동기 및 목표

• 의존 구문 분석기나 품사 태깅 도구와 같은 외부 언어 도구에 의존하지 않는 전치사 의미 해석(PSD) 알고리즘을 개발하는 것.
• 단어 벡터 기하학에서 유도된 맥락 의존 특징이 전치사의 다의어성을 효과적으로 포착하고 의미 군집화를 가능하게 할 수 있는지 탐색하는 것.
• 해석 결과를 기반으로 대규모 코퍼스에서 의미별 전치사 표현을 학습하고, 그 유용성이 의미 관계를 포착하는 데 기여하는지 평가하는 것.
• 의미별 전치사 임베딩이 단순한 벡터 연산을 통해 파생어구의 어색한 표현을 향상시킬 수 있는지 조사하는 것.
• 내재 평가 과제에서 의미별 표현의 효과를 검증하고, 단일의미 전역 표현과 비교하는 것.

제안 방법

• 각 전치사 인스턴스 주변의 왼쪽 및 오른쪽 단어 벡터를 사용해 맥락 특징을 추출하여, 각 발생에 대해 특징 벡터 (ℓ, r) 를 구성한다.
• 추출된 (ℓ, r) 특징에 대해 k-means 군집화를 적용하여 의미 군집으로 인스턴스를 그룹화함으로써 비지도 PSD를 실현한다.
• 지도 학습을 위해 (ℓ, r) 특징과 의미 레이블을 사용해 SVM 또는 MLP 를 훈련하고, 특징 중요도 분석을 위해 가중치가 부여된 k-NN 를 활용한다.
• 의미 해석된 레이블을 활용해 Word2Vec 을 재학습하되, 전치사 중심으로 축소된 맥락 창을 사용한다.
• 간단한 덧셈 조합 모델(예: 'in' + 'America' ≈ 'American') 을 적용하여 의미별 임베딩이 의미 관계를 어떻게 포착하는지 테스트한다.
• VPC(동사어구 복합어) 데이터셋을 사용해 파생어구와 그 어색한 표현 간의 벡터 유사도를 비교함으로써 어색한 표현 성능을 평가한다.

실험 결과

연구 질문

• RQ1 외부 언어 도구 없이 단어 벡터 기하학만을 사용해 전치사 의미 해석을 효과적으로 달성할 수 있는가?
• RQ2 전치사의 왼쪽 및 오른쪽 맥락 벡터가 의미 구별에 어떻게 기여하는가? 그리고 (ℓ, r, ℓ+r 등) 어떤 조합이 최적의 성능을 낼 수 있는가?
• RQ3 의미별 전치사 임베딩이 전역 임베딩보다 의미 관계를 더 잘 포착하는가? 이를 애널로지적 추론 과제로 입증할 수 있는가?
• RQ4 의미별 전치사 임베딩을 사용해 단순한 벡터 덧셈으로 파생어구의 어색한 표현을 생성할 수 있는가?
• RQ5 의미의 세분성과 학습 데이터의 품질이 의미별 전치사 표현의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 비지도 PSD 방법은 SemEval 2007 데이터셋에서 정확도 0.584 를 기록하여 기존 최고 성능(0.56)을 초월했으며, 언어 도구에 의존하는 이전 방법들보다 뛰어난 성능을 보였다.
• OEC 데이터셋에서는 (ℓ, r, i) 특징을 사용한 지도 학습 모델이 MLP 를 사용해 정확도 0.351 을 달성했으며, 기준 모델을 크게 능가했고, 통합 맥락 특징의 가치를 입증했다.
• 의미별 전치사 임베딩은 'in' + 'America' ≈ 'American' 과 같은 유사 관계를 성공적으로 포착했으며, 전역 전치사 임베딩는 이를 포착하지 못했다.
• 의미별 'for' 임베딩를 사용해 'fight for' 의 어색한 표현으로 'defend' 를 상위 3개 내에 생성했으며, 전역 또는 단순 표현에서는 이를 달성하지 못했다.
• 가중치가 부여된 k-NN 분석 결과, 'behind', 'to', 'with' 와 같은 전치사는 부착된 동사에 더 큰 영향을 받는 반면, 'during' 와 'on' 은 보다 보조어에 의존하는 경향을 보였다.
• 내재 평가에서 의미별 표현은 단일의미 표현보다 뚜렷이 뛰어난 성능을 보였으며, 더 풍부한 의미적 내용을 포함할 수 있음을 확인했다.