[논문 리뷰] One-shot and few-shot learning of word embeddings

Andrew K. Lampinen, James L. McClelland|arXiv (Cornell University)|2017. 10. 27.

Topic Modeling참고 문헌 8인용 수 12

한 줄 요약

이 논문은 기존 네트워크 가중치를 동결하면서 새로운 단어의 임베딩 벡터만 미세조정하여 경량화된 경량 학습을 통해 일회성 및 소수의 예시로 단어 임베딩을 학습하는 방법을 제안한다. 이는 문맥 문장과 이전 경험에서 유도된 부정적 샘플을 이용한 경사하강법을 기반으로 하며, 전체 재학습과 유사한 성능을 달성하면서도 훨씬 적은 데이터와 존재 지식에 대한 최소한의 간섭을 유도한다.

ABSTRACT

Standard deep learning systems require thousands or millions of examples to learn a concept, and cannot integrate new concepts easily. By contrast, humans have an incredible ability to do one-shot or few-shot learning. For instance, from just hearing a word used in a sentence, humans can infer a great deal about it, by leveraging what the syntax and semantics of the surrounding words tells us. Here, we draw inspiration from this to highlight a simple technique by which deep recurrent networks can similarly exploit their prior knowledge to learn a useful representation for a new word from little data. This could make natural language processing systems much more flexible, by allowing them to learn continually from the new words they encounter.

연구 동기 및 목표

• 딥 러닝 시스템이 인간의 일회성 학습 능력을 모방하여 단 하나 또는 소수의 예시만으로 새로운 단어 의미를 학습할 수 있도록 하기.
• 초기 학습 이후 새로운 단어에 대해 일반화할 수 없는 표준 단어 임베딩 모델의 한계를 해결하기.
• 이미 학습된 지식의 치명적인 잊힘 없이 새로운 단어 표현을 통합하는 방법을 개발하기.
• 사전에 학습된 네트워크가 내부 지식을 활용하여 최소한의 문맥에서 드물거나 본 적 없는 단어의 의미 있는 표현을 유추할 수 있는지 탐색하기.

제안 방법

• 새로운 단어의 임베딩 벡터를 제외한 모든 네트워크 가중치를 동결하여, 학습 중에 오직 이들만 업데이트되도록 하기.
• 학습률 0.01로 확률적 경사하강법을 사용하여, 새로운 단어의 임베딩을 100 에포크 동안 해당 단어를 포함한 문장에서 최적화하기.
• 기존 경험에서 유도된 부정적 샘플을 통합하여 일반화 성능 향상과 소수의 학습 예시에 대한 과적합 방지하기.
• 새로운 단어의 임베딩을 세 가지 전략으로 초기화하기: 흔히 쓰이지 않는 토큰 임베딩, 영벡터, 또는 주변 단어 임베딩의 중심점.
• 최적화 기반 방법의 성능을 중심점 기반 기준선과 전체 코퍼스에 대한 전면 재학습과 비교하기.
• 100개의 새로운 단어로 구성된 테스트 세트에서 평가하여, 퍼플렉서티 향상도와 본 적 없는 문맥으로의 일반화 성능 측정하기.

실험 결과

연구 질문

• RQ1 사전에 학습된 딥 네트워크가 단 하나 또는 소수의 문장만으로도 새로운 단어에 대해 의미 있는 표현을 학습할 수 있는가?
• RQ2 모든 다른 가중치를 동결하면서 오직 새로운 단어의 임베딩만 미세조정하는 방식이 치명적인 간섭을 방지하고 기존 지식을 유지하는가?
• RQ3 제안된 최적화 방법의 성능가 장점은 단순 중심점 초기화와 전체 재학습 대비 어떻게 다를까?
• RQ4 이 방법이 네트워크의 기존 지식과 의미적 또는 문법적으로 일관된 단어에 대해 얼마나 잘 일반화되는가?

주요 결과

• 중심점에서 최적화하는 방법은 중심점 기준선 대비 평균 64% 퍼플렉서티 향상을 보였으며(11个百分点), 성능이 열 劣한 경우가 전혀 없었다.
• 대응 t-검정을 통해 향상이 매우 유의미하다는 것이 확인되었으며(t(99) = -20.5, p < 1×10⁻¹⁶).
• 학습 데이터가 전체의 2.5% 정도 적게 제공되었음에도 불구하고, 제안된 방법은 전체 재학습과 유사한 성능을 보였으며, 성능에 유의미한 차이가 없었다(t(99) = 0.9, p = 0.39).
• 이 방법은 사전에 구축된 문법적 및 의미적 지식을 효과적으로 활용하여 새로운 단어에 대해 문맥에 적합한 임베딩을 생성하였다.
• 다양한 단어와 문맥에서의 뛰어난 내재성은 이 방법이 단순한 벡터 평균화를 넘어서 언어의 구조적 패턴을 포착하고 있음을 시사한다.