[논문 리뷰] Learning Numeral Embeddings

Chengyue Jiang, Zhonglin Nian외 5명|arXiv (Cornell University)|2019. 12. 28.

Mathematics Education and Teaching Techniques참고 문헌 30인용 수 4

한 줄 요약

이 논문은 자기조직화 지도(SOM) 또는 가우시안 혼합 모델(GMM)을 사용해 프로토타입을 유도함으로써, 어떤 숫자도 학습된 프로토타입 숫자 임베딩의 가중 평균으로 표현하는 두 가지 새로운 숫자 임베딩 방법을 제안한다. 이 방법은 OOV 숫자를 효과적으로 처리하고, 단어 유사도, 숫자 이해력, 예측, 시퀀스 태깅과 같은 숫자 관련 자연어 처리(NLP) 작업에서 베이스라인을 능가하며, 특히 자원이 부족한 환경에서 뛰어난 성능을 보인다.

ABSTRACT

Word embedding is an essential building block for deep learning methods for natural language processing. Although word embedding has been extensively studied over the years, the problem of how to effectively embed numerals, a special subset of words, is still underexplored. Existing word embedding methods do not learn numeral embeddings well because there are an infinite number of numerals and their individual appearances in training corpora are highly scarce. In this paper, we propose two novel numeral embedding methods that can handle the out-of-vocabulary (OOV) problem for numerals. We first induce a finite set of prototype numerals using either a self-organizing map or a Gaussian mixture model. We then represent the embedding of a numeral as a weighted average of the prototype number embeddings. Numeral embeddings represented in this manner can be plugged into existing word embedding learning approaches such as skip-gram for training. We evaluated our methods and showed its effectiveness on four intrinsic and extrinsic tasks: word similarity, embedding numeracy, numeral prediction, and sequence labeling.

연구 동기 및 목표

• 훈련 데이터에서 숫자의 무한한 다양성과 낮은 빈도로 인해 기존 단어 임베딩 방법이 숫자를 잘 다루지 못하는 문제를 해결하기 위해.
• 훈련 데이터에서 드물거나 전혀 등장하지 않은 숫자일지라도 의미 있는 임베딩을 생성할 수 있는 방법을 개발하기 위해.
• 모델을 다시 처음부터 훈련할 필요 없이, 스위프트그램과 같은 표준 단어 임베딩 프레임워크에 숫자 임베딩를 통합하기 위해.
• 제안된 방법이 숫자를 포함한 내재적 및 외재적 작업에서 효과적으로 작동하는지 평가하기 위해.
• 고객 서비스 또는 임상 텍스트와 같이 숫자의 의미와 크기가 중요한 상황에서의 후행 NLP 성능 향상을 위해.

제안 방법

• 자기조직화 지도(SOM) 또는 가우시안 혼합 모델(GMM)을 사용해 훈련 데이터에서 유한한 프로토타입 숫자 집합을 도출한다.
• 목표 숫자의 임베딩을, 각 프로토타입과의 수치적 거리에 기반한 가중치를 사용해 프로토타입 임베딩의 가중 평균으로 표현한다.
• 표준 단어 임베딩 모델(예: 스위프트그램)에 프로토타입 기반 숫자 임베딩를 입력으로 사용하여 비숫자 단어와 함께 공동 훈련한다.
• 표준 목적 함수를 사용해 모델을 종단 간(end-to-end)으로 훈련하여, 단어와 숫자 표현을 동시에 학습할 수 있도록 한다.
• 시퀀스 태깅, 단어 유사도, 숫자 예측과 같은 후행 작업에 학습된 임베딩를 적용한다.
• 모델 선택을 위해 검증 세트를 사용하고, 평가 시 사전 훈련된 특징(예: 품사 태깅 또는 문자 수준 임베딩)을 추가로 사용하지 않는다.

실험 결과

연구 질문

• RQ1 프로토타입 기반 숫자 임베딩가 훈련 데이터에서 드물거나 전혀 등장하지 않은 OOV 숫자를 효과적으로 표현할 수 있는가?
• RQ2 기존 방법과 비교해 내재적 작업(예: 단어 유사도 및 숫자 이해력)에서 제안된 숫자 임베딩의 성능은 어느 정도인가?
• RQ3 제안된 임베딩가 숫자 예측 및 시퀀스 태깅과 같은 외재적 작업에서 성능 향상에 얼마나 기여하는가?
• RQ4 훈련 데이터의 10% 또는 30%만으로도 이 방법이 저자원 환경에서 얼마나 잘 일반화되는가?
• RQ5 이 방법이 연도를 나타내는 숫자와 수량을 나타내는 숫자와 같은 숫자의 다양한 의미적 의미를 구분할 수 있는가?

주요 결과

• 제안된 방법은 시퀀스 태깅 작업에서 모든 베이스라인을 꾸준히 능가하며, 원본, 증강, 하드 테스트 세트에서 모두 최고의 F1 스코어를 기록했다.
• 고객 서비스 데이터셋에서 100% 훈련 데이터를 사용했을 때, 원본 테스트 세트에서 F1 스코어 93.24, 하드 테스트 세트에서 92.10을 기록했으며, 이는 NumAsTok를 크게 능가했다.
• 훈련 데이터의 10%만으로도 제안된 방법이 베이스라인보다 더 큰 성능 우위를 보였고, 이는 더 나은 일반화 능력과 낮은 데이터 의존도를 시사한다.
• 수정된 테스트 세트에서 숫자의 변형에 대해 강건한 성능을 보였으며, 성능 저하가 거의 없었고, 반면 NumAsTok는 OOV 문제로 인해 심한 성능 저하를 보였다.
• 프로토타입 기반 접근법은 숫자 이해력에서 높은 정확도를 달성하여, 이 방법이 크기와 수치적 관계를 성공적으로 인코딩하고 있음을 시사한다.
• 결과적으로 이 방법이 숫자의 의미적 측면과 정량적 측면을 효과적으로 모델링할 수 있으며, NLP 시스템의 더 나은 추론을 가능하게 한다.