[논문 리뷰] Higher order features and recurrent neural networks based on Long-Short Term Memory nodes in supervised biomedical word sense disambiguation.

Antonio Jimeno Yepes|arXiv (Cornell University)|2016. 04. 09.

Natural Language Processing Techniques참고 문헌 43인용 수 4

한 줄 요약

이 논문은 고차원 특징과 장기·단기 기억(LSTM) 순환 신경망을 사용한 지도 학습 기반 생물의학적 단어의 의미 해석 해제 방법을 제안한다. 단어 임베딩과 유니그램 특징를 조합함으로써 MSH WSD 데이터셋에서 기존 최고 성능을 갱신하는 95.97%의 정확도를 달성하였으며, 이는 단어 임베딩이 전통적 특징을 향상시키고 LSTMs를 통한 효과적인 시퀀스 모델링을 가능하게 한다는 것을 보여준다.

ABSTRACT

Word sense disambiguation helps identifying the proper sense of ambiguous words in text. With large terminologies such as the UMLS Metathesaurus ambiguities appear and highly effective disambiguation methods are required. Supervised learning algorithm methods are used as one of the approaches to perform disambiguation. Features extracted from the context of an ambiguous word are used to identify the proper sense of such a word. The type of features have an impact on machine learning methods, thus affect disambiguation performance. In this work, we have evaluated several types of features derived from the context of the ambiguous word and we have explored as well more global features derived from MEDLINE using word embeddings. Results show that word embeddings improve the performance of more traditional features and allow as well using recurrent neural networks based on Long-Short Term Memory (LSTM) nodes, which further improve the disambiguation performance. The combination of unigrams and word embeddings set a new state of the art performance with an accuracy of 95.97 in the MSH WSD data set.

연구 동기 및 목표

• 고도화된 특징 공학 기법을 활용해 생물의학적 텍스트에서의 지도 학습 기반 단어의 의미 해석 해제 성능을 향상시키기.
• 고차원적 문맥 특징이 의미 해석 해제 성능에 미치는 영향을 평가하기.
• MEDLINE에서 유도된 단어 임베딩이 특징 표현을 향상시키는 데 효과적인지 탐색하기.
• 장기·단기 기억(LSTM) 네트워크를 활용해 단어의 의미 해석 해제에서의 순차적 문맥을 모델링하기.
• MSH WSD 벤치마크 데이터셋에서 새로운 최고 성능 기록하기.

제안 방법

• 생물의학적 텍스트에서의 모호한 단어의 문맥으로부터 유니그램 특징를 추출하였다.
• 대규모 MEDLINE 코퍼스를 사용해 글로벌 단어 임베딩를 생성하여 의미적 문맥을 표현하였다.
• 유니그램 특징를 사전에 학습된 단어 임베딩와 조합하여 특징 표현을 향상시켰다.
• 장기·단기 기억(LSTM) 네트워크를 사용해 문맥 내 순차적 종속성을 모델링하였다.
• 결합된 특징 세트를 사용해 지도 학습 모델을 훈련하여 단어의 의미를 분류하였다.
• MSH WSD 데이터셋에서 성능 최적화를 통해 의미 해석 해제 정확도를 극대화하였다.

실험 결과

연구 질문

• RQ1 고차원적 문맥 특징는 생물의학적 단어의 의미 해석 해제에서 기존의 유니그램 특징보다 어떻게 비교되는가?
• RQ2 MEDLINE에서 유도된 단어 임베딩는 의미 해석 해제 성능 향상에 어느 정도 기여하는가?
• RQ3 LSTM 기반 순환 신경망은 단어 임베딩와 결합했을 때 성능 향상에 기여하는가?
• RQ4 유니그램 특징와 단어 임베딩의 조합은 전체 의미 해석 해제 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 MSH WSD 벤치마크에서 최고 성능을 달성하는가?

주요 결과

• 단어 임베딩를 유니그램 특징와 조합함으로써 기존의 전통적 특징만을 사용한 경우보다 의미 해석 해제 성능이 크게 향상되었다.
• LSTM 기반 모델은 정적 특징만을 사용한 모델보다 성능이 뛰어나, 문맥 내 순차적 모델링의 가치를 입증하였다.
• 유니그램 특징와 단어 임베딩의 조합은 MSH WSD 데이터셋에서 새로운 최고 성능인 95.97%의 정확도를 달성하였다.
• 단어 임베딩는 그렇지 않으면 희박한 특징 표현으로 인해 어려움을 겪는 순환 신경망의 효과적인 활용을 가능하게 하였다.
• 제안된 방법은 높은 변동성이 있는 생물의학 용어를 다룰 때 뛰어난 강건성과 확장성을 보였다.