[논문 리뷰] Unsupervised Abbreviation Disambiguation Contextual disambiguation using word embeddings

Manuel R. Ciosici, Tobias Sommer외 1명|arXiv (Cornell University)|2019. 04. 01.

Natural Language Processing Techniques참고 문헌 23인용 수 6

한 줄 요약

이 논문은 레이블이 없는 데이터를 사용하여 약어의 의미를 해석하는 데 초점을 맞춘 비지도 약어의 의미 해석(Unsupervised Abbreviation Disambiguation, UAD)을 제안한다. UAD는 각 장문의 의미와 그 맥락적 사용에 대해 고유한 벡터 표현을 학습함으로써, 레이블이 없는 데이터에서도 상태의 성능을 달성한다. UAD는 대규모 실세계 데이터셋에서 최고 성능을 기록하며, 비용이 많이 들지 않는 실증적 평가 없이도 의미 해석이 어려운 약어를 사전 분석할 수 있는 기능을 도입하여, 수천 개의 모호한 약어가 존재하는 분야에서 실용적인 구현을 가능하게 한다.

ABSTRACT

Abbreviations often have several distinct meanings, often making their use in text ambiguous. Expanding them to their intended meaning in context is important for Machine Reading tasks such as document search, recommendation and question answering. Existing approaches mostly rely on manually labeled examples of abbreviations and their correct long-forms. Such data sets are costly to create and result in trained models with limited applicability and flexibility. Importantly, most current methods must be subjected to a full empirical evaluation in order to understand their limitations, which is cumbersome in practice. In this paper, we present an entirely unsupervised abbreviation disambiguation method (called UAD) that picks up abbreviation definitions from unstructured text. Creating distinct tokens per meaning, we learn context representations as word vectors. We demonstrate how to further boost abbreviation disambiguation performance by obtaining better context representations using additional unstructured text. Our method is the first abbreviation disambiguation approach with a transparent model that allows performance analysis without requiring full-scale evaluation, making it highly relevant for real-world deployments. In our thorough empirical evaluation, UAD achieves high performance on large real-world data sets from different domains and outperforms both baseline and state-of-the-art methods. UAD scales well and supports thousands of abbreviations with multiple different meanings within a single model. In order to spur more research into abbreviation disambiguation, we publish a new data set, that we also use in our experiments.

연구 동기 및 목표

• 수동으로 주석이 달린 데이터에 의존하는 지도 학습 기반의 약어의 의미 해석 방법의 높은 비용과 제한된 확장성 문제를 해결하기 위해.
• 비지도 접근 방식을 개발하여 비구조화된 텍스트에서 약어와 그 장문의 의미를 자동으로 추출하기 위해.
• 주석이 달린 테스트 세트에서 전체 실증적 평가가 필요 없이 성능 분석을 가능하게 하기 위해.
• 외부 비구조화된 텍스트를 활용하여 맥락 표현의 질을 향상시켜 의미 해석 성능을 향상시키기 위해.
• 재현 가능성과 향후 연구를 지원하기 위해 대규모 실세계 데이터셋을 공개하기 위해.

제안 방법

• UAD는 각 장문의 의미에 대해 고유한 단어 벡터를 학습하며, 이를 임베딩 공간 내의 고유 토큰으로 간주한다.
• 비구조화된 텍스트에서 단어 임베딩을 훈련시켜 맥락 표현을 구성함으로써, 약어와 그 주변 맥락 간의 의미적 관계를 포착한다.
• 약어의 의미가 모호할 경우, 맥락 벡터와 장문 벡터 간의 코사인 유사도를 사용하여 가장 가능성 있는 의미를 식별한다.
• 훈련 코퍼스에 추가적인 비구조화된 텍스트 또는 사전 계산된 벡터 공간을 통합하여 맥락 표현의 질을 향상시킴으로써 성능을 향상시킨다.
• 사전 평가 분석 기능은 주석이 없는 테스트 데이터가 필요 없이 장문 벡터 간의 코사인 거리를 계산하여 의미 해석의 어려움을 예측한다.
• 수천 개의 의미가 있는 약어를 지원하며, 평균화 또는 문제 있는 장문 벡터 제거 등의 벡터 공간 조정 기능을 통해 의미의 겹침을 해결할 수 있다.

실험 결과

연구 질문

• RQ1 수동 주석이 없는 데이터에 의존하지 않고도 비지도 방법이 높은 성능을 달성할 수 있는가?
• RQ2 외부 비구조화된 텍스트를 활용하여 맥락 표현을 어떻게 향상시킬 수 있으며, 이는 의미 해석 정확도 향상에 어떻게 기여하는가?
• RQ3 사전 평가 분석 기능은 실증적 평가가 전부 필요 없이 모호한 약어를 식별할 수 있는가?
• RQ4 장문의 의미 간 유사도가 의미 해석 성능에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?
• RQ5 UAD는 고도로 모호하고 다양한 분야를 포함하는 대규모 실세계 데이터셋에서 얼마나 잘 스케일링되는가?

주요 결과

• UAD는 이전의 벤치마크보다 더 모호하고 실세계적인 두 개의 대규모 실세계 데이터셋에서 베이스라인 및 최고 성능(SOTA) 모델을 모두 능가한다.
• 이전 연구에서 사용된 데이터셋보다 최소 한 계단 이상 큰 데이터셋에서 레이블 균형 조정이나 데이터 필터링 없이도 높은 성능을 기록한다.
• 장문 벡터 간 코사인 거리와 오분류율 사이에 강한 음의 상관관계가 발견되어, 유사한 의미는 더 해석하기 어려운 것으로 확인되었다.
• 사전 평가 분석 기능은 주석이 없는 테스트 데이터가 필요 없이 문제 있는 약어—특히 의미적으로 유사하거나 동일한 의미를 가진 약어—를 성공적으로 식별하였다.
• 외부 비구조화된 텍스트로 훈련 코퍼스를 보강하면 맥락 표현의 질과 의미 해석 성능이 크게 향상된다.
• 벡터 공간 조정 기법인 평균화 또는 문제 있는 장문 벡터 제거로 재학습 없이도 재학습과 동일한 성능 향상을 달성할 수 있다.