[논문 리뷰] Few-Shot Representation Learning for Out-Of-Vocabulary Words

Ziniu Hu, Ting Chen외 2명|arXiv (Cornell University)|2019. 07. 01.

Topic Modeling참고 문헌 31인용 수 7

한 줄 요약

이 논문은 문맥 문장과 형태소 특징을 이용해 희귀어 또는 빈도가 낮은 단어(Out-of-Vocabulary, OOV)에 대해 정확한 임베딩을 학습할 수 있는 계층적 어텐션 기반 신경망인 HiCE를 제안한다. OOV 임베딩 학습을 소수의 예시로 회귀 문제로 재정의하고, MAML을 활용해 빠른 적응을 이룩함으로써 HiCE는 최신 기법 대비 6-shot 학습에서 스피어만 상관계수를 9.3% 향상시켜 최고 성능을 달성한다.

ABSTRACT

Existing approaches for learning word embeddings often assume there are sufficient occurrences for each word in the corpus, such that the representation of words can be accurately estimated from their contexts. However, in real-world scenarios, out-of-vocabulary (a.k.a. OOV) words that do not appear in training corpus emerge frequently. It is challenging to learn accurate representations of these words with only a few observations. In this paper, we formulate the learning of OOV embeddings as a few-shot regression problem, and address it by training a representation function to predict the oracle embedding vector (defined as embedding trained with abundant observations) based on limited observations. Specifically, we propose a novel hierarchical attention-based architecture to serve as the neural regression function, with which the context information of a word is encoded and aggregated from K observations. Furthermore, our approach can leverage Model-Agnostic Meta-Learning (MAML) for adapting the learned model to the new corpus fast and robustly. Experiments show that the proposed approach significantly outperforms existing methods in constructing accurate embeddings for OOV words, and improves downstream tasks where these embeddings are utilized.

연구 동기 및 목표

• 소수의 훈련 예시만으로도 OOV 단어에 대한 정확한 단어 임베딩을 학습하는 데 도전한다.
• 희귀어나 새로운 단어의 복잡한 의미를 포괄하지 못하는 형태소 중심 또는 문맥 중심의 기법의 한계를 극복한다.
• 새로운 도메인에 잘 일반화할 수 있도록 새로운 코퍼스에 대해 신속한 적응을 가능하게 하는 모델을 개발한다.
• 더 나은 OOV 표현을 통해 명명된 엔티티 인식 및 품사 태깅과 같은 하류 NLP 작업의 성능을 향상시킨다.

제안 방법

• 모델이 K개의 문맥 문장에서 오라클 임베딩을 예측하는 방식으로 OOV 임베딩 학습을 K-샷 회귀 문제로 재정의한다.
• 다중 헤드 자기어텐션을 활용해 다수의 문맥 문장 간 정보를 집계하고 통합하는 계층적 문맥 인코더(HiCE)를 도입한다.
• 문맥이 부족할 경우를 대비해 문자 수준의 CNN 인코더를 통해 형태소 정보를 통합하여 표현을 강화한다.
• 각 에피소드가 OOV 단어를 시뮬레이션하며, 풍부한 관측치를 오라클 임베딩으로 사용하는 에피소드 기반 훈련 체계를 도입한다.
• 사전 훈련된 HiCE 모델이 도메인 이동이 있는 새로운 코퍼스에 대해 신속하고 견고하게 적응할 수 있도록 모델 무관 메타학습(MAML)을 채택한다.
• 소수의 예시 추론 중 예측 임베딩를 오라클 임베딩과 일치시키기 위해 대조 손실을 사용해 모델을 종합적으로 훈련한다.

실험 결과

연구 질문

• RQ1 소수의 예시로 회귀하는 프레임워크가 제한된 문맥과 형태소 특징을 바탕으로 OOV 단어에 대해 정확한 임베딩을 효과적으로 학습할 수 있는가?
• RQ2 계층적 어텐션 기반 아키텍처는 다수의 짧은 문맥에서 의미 정보를 얼마나 잘 집계하고 표현할 수 있는가?
• RQ3 MAML 미세조정이 다른 언어 패턴을 가진 새로운 도메인에 대해 일반화 능력을 향상시키는 데 기여하는가?
• RQ4 제안된 방법이 내재 평가와 하류 NLP 작업 양쪽 모두에서 기존 기법을 능가할 수 있는가?
• RQ5 문맥이 극도로 제한되었을 경우(예: 2~4개의 예시), 형태소 특징을 통합하면 성능 향상이 얼마나 이루어지는가?

주요 결과

• HiCE는 Chimera 벤치마크에서 6-shot 학습 설정에서 기존 최고 성능 기법 대비 상대적 9.3% 향상된 스피어만 상관계수를 달성한다.
• 명명된 엔티티 인식 및 품사 태깅과 같은 하류 작업에서 성능 향상이 뚜렷하게 나타나, 학습된 OOV 임베딩의 강력한 전이 가능성(transferability)을 입증한다.
• 문맥이 극히 적을 경우 형태소 특징 통합이 측정 가능한 성능 향상을 이끌어내며, 특히 2-shot 및 4-shot 시나리오에서 두드러진다.
• MAML 미세조정은 사전 훈련된 HiCE 모델이 새로운 코퍼스에 대해 더 신속하고 견고하게 적응하도록 하여 훈련 도메인과 추론 도메인 간 의미적 간극을 줄인다.
• 에피소드 기반 훈련 체계는 실제 OOV 추론 시나리오를 효과적으로 시뮬레이션하면서도 오라클 임베딩를 통해 신뢰할 수 있는 지도를 제공한다.
• HiCE의 계층적 어텐션 메커니즘은 단순 평균화나 선형 방법보다 문맥 수준의 의미를 더 잘 집계한다.