[논문 리뷰] Semi-supervised Word Sense Disambiguation with Neural Models

Dayu Yuan, Julian Richardson외 3명|arXiv (Cornell University)|2016. 03. 22.

Natural Language Processing Techniques참고 문헌 37인용 수 83

한 줄 요약

이 논문은 순차적이고 문법적 맥락을 포착하기 위해 장단기 기억(LSTM) 네트워크를 활용하는 준지도 학습형 단어의 의미 해석(이하 WSD) 프레임워크를 제안한다. 이는 기존의 Word2Vec 기반 방법보다 우수한 성능을 보이며, 특히 동사에 대해 SemEval 전체 단어 작업에서 강력한 기준 모델 대비 10% 향상된 성능을 기록한다.

ABSTRACT

Determining the intended sense of words in text - word sense disambiguation (WSD) - is a long standing problem in natural language processing. Recently, researchers have shown promising results using word vectors extracted from a neural network language model as features in WSD algorithms. However, a simple average or concatenation of word vectors for each word in a text loses the sequential and syntactic information of the text. In this paper, we study WSD with a sequence learning neural net, LSTM, to better capture the sequential and syntactic patterns of the text. To alleviate the lack of training data in all-words WSD, we employ the same LSTM in a semi-supervised label propagation classifier. We demonstrate state-of-the-art results, especially on verbs.

연구 동기 및 목표

• 대규모 어휘에 대해 훈련 데이터가 제한된 상황에서 전체 단어 WSD 문제를 해결하기 위해.
• 정적 단어 임베딩 대신 순환 신경망(LSTM)을 사용하여 순차적이고 문법적 맥락을 포착함으로써 WSD 성능을 향상시키기 위해.
• 대규모의 비라벨 텍스트 데이터를 준지도 학습 기반의 레이블 전파를 통해 활용하여 의미 분류 정확도를 향상시키기 위해.
• LSTM 언어 모델과 그래프 기반 레이블 전파를 조합할 경우, 지도 학습 기반 기준 모델 대비 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 1,000억 단어 분량의 뉴스 코퍼스에서 1,000차원 Word2Vec 모델을 훈련하여 초기 단어 임베딩을 생성하기 위해.
• LSTM 네트워크를 사용하여 맥락적 시퀀스를 인코딩함으로써, 백오프-오브-워드 모델보다 더 효과적으로 순차적이고 문법적 패턴을 포착하기 위해.
• 노드가 문장을 나타내고, 간선이 LSTM로 인코딩된 문장 표현 간 코사인 유사도에 기반한 그래프를 구축하기 위해.
• 작은 수의 라벨이 부여된 예시 문장에서부터 대규모의 비라벨 문장으로 레이블을 그래프를 통해 전파하기 위해 레이블 전파(LP)를 적용하기 위해.
• LP로 예측된 레이블을 훈련 데이터로 사용하여 WSD 분류기의 성능을 향상시키고, 결정 경계와 의미 분포 추정을 개선하기 위해.
• SemEval 벤치마크에서 F1 점수를 사용하여 성능을 평가하고, Word2Vec 기준 모델 및 가장 흔한 의미 모델과 비교하기 위해.

실험 결과

연구 질문

• RQ1 LSTM 기반 언어 모델은 정적 단어 임베딩인 Word2Vec보다 WSD 성능을 향상시킬 수 있는가, 특히 동사에 대해 그렇다면?
• RQ2 라벨이 부여된 문장과 비라벨 문장의 그래프에서 준지도 학습 기반 레이블 전파가 훈련 데이터가 부족한 상황에서 WSD 정확도를 향상시킬 수 있는가?
• RQ3 언어 모델의 품질(Word2Vec 대비 LSTM)이 WSD에서 레이블 전파 성능에 어떤 영향을 미치는가?
• RQ4 그래프의 조밀도와 시드 데이터 구성이 레이블 전파의 효과성에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 다른 품사 유형으로 일반화될 수 있으며, 다양한 단어 유형에서 일관된 성능 향상을 이룰 수 있는가?

주요 결과

• LSTM 기반 WSD 모델은 SemEval 전체 단어 작업에서 Word2Vec 기준 모델 대비 F1 점수로 10% 향상되었으며, 특히 동사에 대해 뚜렷한 성과 향상을 보였다.
• LSTM 모델을 사용한 레이블 전파로 SemCor에서는 F1 점수 6.3%p 향상, MASC에서는 7.3%p 향상되어 Word2Vec 기준 모델을 초월했다.
• NOAD와 SemCor 또는 MASC를 모두 포함한 훈련 데이터를 사용했을 때 최고의 성능를 기록했으며, 이는 다양한 시드 데이터가 레이블 전파를 향상시킨다는 것을 시사한다.
• 그래프의 조밀도는 측정 가능한 영향을 미쳤다: 유사도 임계값의 85%에서 98% 구간에서는 F1 점수가 안정적이었지만, 80% 구간에서는 급격히 떨어졌다.
• NOAD와 SemCor/MASC를 훈련 데이터로 사용했을 때 SemCor에서 F1 점수 0.872, MASC에서 0.873를 기록하여 강력한 일반화 능력을 입증했다.
• 레이마당 당 비라벨 문장 수의 변화에 대해 모델은 뚜렷한 성능 향상을 보이지 않아, 비라벨 데이터의 양을 늘려도 성능 향상이 크지 않음을 보였다.