[논문 리뷰] Semi Supervised Preposition-Sense Disambiguation using Multilingual Data

Hila Gonen, Yoav Goldberg|arXiv (Cornell University)|2016. 11. 27.

Natural Language Processing Techniques참고 문헌 43인용 수 10

한 줄 요약

이 논문은 다국어 병렬 데이터를 활용해 LSTM 기반의 문맥 인코더를 사전 훈련하는 비지도 학습 방식을 제안한다. 모델은 영어 문맥에서 외국어 전치사 예측을 통해 의미 정보를 담은 표현을 학습하고, 소규모 지도 학습 PSD 데이터셋에서 미세조정함으로써 웹 리뷰 코퍼스에서 80.54의 최고 성능, SemEval 코퍼스에서 81.7의 성능을 달성한다. 외부 어휘 자료를 사용하지 않고도 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Prepositions are very common and very ambiguous, and understanding their sense is critical for understanding the meaning of the sentence. Supervised corpora for the preposition-sense disambiguation task are small, suggesting a semi-supervised approach to the task. We show that signals from unannotated multilingual data can be used to improve supervised preposition-sense disambiguation. Our approach pre-trains an LSTM encoder for predicting the translation of a preposition, and then incorporates the pre-trained encoder as a component in a supervised classification system, and fine-tunes it for the task. The multilingual signals consistently improve results on two preposition-sense datasets.

연구 동기 및 목표

• 전치사 의미 해석 분류(PSD)에 대한 지도 학습 데이터의 부족 문제를 해결한다. 이는 중요하지만 자원이 부족한 자연어 처리 과제이다.
• WordNet과 같은 수작업으로 구성된 어휘 자료에 의존하는 것을 줄이고, 대규모 다국어 병렬 코퍼스를 약한 지도 신호의 원천으로 활용한다.
• 다국어 문맥 표현에서의 전이 학습을 통해 단일 언어 PSD 성능을 향상시킨다.
• 모호한 전치사에 대해 맥락에 민감한 표현을 학습하는 데 있어 다국어 신호의 효과를 입증한다.
• 외부 어휘 자원을 사용하지 않고도 두 주요 PSD 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 영어 전치사의 번역을 예측하는 데 목적이 있는 대규모 병렬 단일 언어-다국어 코퍼스에서 LSTM 인코더를 사전 훈련한다.
• 사전 훈련된 LSTM을 문맥 인코더로 사용하여 대상 전치사의 의미를 구분할 수 있는 표현을 생성한다.
• 분류 작업을 위한 교차 엔트로피 손실을 사용하여 소규모 지도 학습 PSD 데이터셋에서 전체 모델을 엔드 투 엔드로 미세조정한다.
• 보조 작업으로 전치사 번역 예측을 수행하는 다중 작업 학습을 통해 다국어 신호를 통합한다.
• 다국어 및 단일 언어 작업 간의 공유 표현을 통해 일반화 및 의미 구분 능력을 향상시킨다.
• 웹 리뷰 코퍼스에서는 12개의 굵은 그룹의 초의미집합을 사용하고, 평가에는 원래의 SemEval 2007 의미 집합을 사용한다.

실험 결과

연구 질문

• RQ1 다국어 병렬 데이터는 전치사 의미 해석 분류에 효과적인 약한 지도 신호로 기능할 수 있는가?
• RQ2 번역 예측에 대한 사전 훈련이 PSD를 위한 문맥 표현의 품질을 향상시키는가?
• RQ3 다국어 신호를 활용한 비지도 학습 접근 방식이 제한된 애너테이션 데이터에 의존하는 지도 학습 모델을 능가할 수 있는가?
• RQ4 다국어 신호의 향상 효과는 다양한 전치사 의미 데이터셋과 의미 집합 간에 일관되게 나타나는가?
• RQ5 이 방법은 WordNet과 같은 수작업으로 구성된 어휘 자원을 사용하지 않고도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 웹 리뷰 코퍼스에서 테스트 정확도 80.54를 달성하여 이전의 지도 학습 모델보다 뚜렷한 향상을 보였다.
• SemEval 2007 코퍼스에서는 81.7%의 정확도를 기록하여 WordNet이나 기타 어휘 자료를 사용하지 않은 대부분의 이전 접근 방식을 능가했다.
• 다국어 사전 훈련은 두 데이터셋 모두에서 성능 향상을 일관되게 개선하여 번역 예측 신호의 강건성을 입증했다.
• 모델는 다국어 번역 예측을 통한 문맥 표현이 전치사 의미를 매우 잘 예측할 수 있음을 보여주었다.
• 향상 효과는 대규모 병렬 데이터를 통해 명시적인 의미 애너테이션 없이도 의미를 구분할 수 있는 표현을 학습할 수 있었기 때문으로 기인한다.
• 결과는 특히 의미 해석 분류 과제에 대해 자원이 부족한 자연어 처리 환경에서 다중 작업 학습과 전이 학습의 효과를 입증한다.