[논문 리뷰] Multi hash embeddings in spaCy

Lester James V. Miranda, Ákos Kádár외 4명|arXiv (Cornell University)|2022. 12. 19.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 spaCy에서 다중 해시 함수와 철자적 특징(정규화, 접두사, 접미사, 형태)을 사용하여 개별 단어 벡터를 저장하지 않고도 조밀한 벡터 표현을 생성하는 메모리 효율적인 단어 임베딩 방법인 MultiHashEmbed을 소개한다. 실험 결과, 메모리 사용량을 크게 줄였음에도 불구하고 경쟁력 있는 NER 성능을 달성하였으며, 다중 해시 함수는 대규모 데이터셋인 OntoNotes와 같은 경우에만 유의미한 성능 향상을 보였다. 이 경우 F1 점수가 5% 향상되었다.

ABSTRACT

The distributed representation of symbols is one of the key technologies in machine learning systems today, playing a pivotal role in modern natural language processing. Traditional word embeddings associate a separate vector with each word. While this approach is simple and leads to good performance, it requires a lot of memory for representing a large vocabulary. To reduce the memory footprint, the default embedding layer in spaCy is a hash embeddings layer. It is a stochastic approximation of traditional embeddings that provides unique vectors for a large number of words without explicitly storing a separate vector for each of them. To be able to compute meaningful representations for both known and unknown words, hash embeddings represent each word as a summary of the normalized word form, subword information and word shape. Together, these features produce a multi-embedding of a word. In this technical report we lay out a bit of history and introduce the embedding methods in spaCy in detail. Second, we critically evaluate the hash embedding architecture with multi-embeddings on Named Entity Recognition datasets from a variety of domains and languages. The experiments validate most key design choices behind spaCy's embedders, but we also uncover a few surprising results.

연구 동기 및 목표

• 기본 단어 임베딩의 메모리 효율적인 대안을 설계하여, 개별 단어 벡터를 명시적으로 저장하지 않고도 대규모 어휘에 스케일링할 수 있도록 하는 것.
• 다양한 NER 데이터셋과 언어에서 spaCy의 MultiHashEmbed 아키텍처의 효과성을 평가하는 것.
• 성능과 메모리 사용량에 영향을 주는 핵심 하이퍼파라미터(예: 해시 함수 수, 특징 유형 등)를 특정하는 것.
• 사용자가 spaCy의 기본 NER 파이프라인을 더 효율적이고 정확하게 맞춤화하기 위한 경험적 지침을 제공하는 것.
• 추가적인 철자적 특징이 특히 OOV(등장하지 않은 단어)나 희귀어에 대해 일반화 능력을 향상시키는지 평가하는 것.

제안 방법

• MultiHashEmbed는 해시 기법을 사용하여 개별 단어마다 별도의 벡터를 저장하지 않고도 고정 크기의 벡터 표현을 생성함으로써 메모리 사용량을 줄인다.
• 각 단어는 정규화된 형태, 접두사, 접미사, 단어 형태 등의 특징 조합을 사용하여 인코딩되며, 이들은 각각 임베딩 공간으로 독립적으로 해시된다.
• 충돌 위험을 줄이고 어휘 전반에서 벡터의 유일성을 향상시키기 위해 다중 해시 함수(1~4개)를 사용한다.
• 임베딩 벡터는 spaCy의 Thinc 기반 머신러닝 프레임워크 내에서 엔드 투 엔드로 학습되며, 후행 NER 모델과의 통합 및 미세조정이 가능하다.
• fastText에 영향을 받아 서브워드 수준의 표현과 철자 패턴을 결합함으로써 철자 변형과 OOV 단어에 대한 강건성을 향상시킨다.
• 다양한 NER 데이터셋에서 MultiHashEmbed를 기존의 밀도 임베딩과 비교하여 실험하며, 다양한 설정에서 F1 점수와 메모리 효율성을 측정한다.

실험 결과

연구 질문

• RQ1 다양한 도메인과 언어에서 Named Entity Recognition 작업에서 MultiHashEmbed는 기존의 밀도 임베딩과 비교해 성능가능성이 어떻게 되는가?
• RQ2 다중 해시 함수를 사용할 경우 임베딩 레이어의 정확도와 충돌 비율에 어떤 영향을 미치는가?
• RQ3 정규화, 접두사, 접미사, 형태 등의 철자적 특징은 희귀어나 OOV 단어에서 성능 향상에 얼마나 기여하는가?
• RQ4 해시 행 수와 해시 함수 수와 같은 하이퍼파라미터가 모델 정확도와 메모리 사용량에 어떤 영향을 미치는가?
• RQ5 서브워드 및 형태적 특징을 포함하면 일반화 능력이 향상되는가, 아니면 이미 등장한 실체에서는 성능이 떨어지는가?

주요 결과

• MultiHashEmbed는 전통적인 임베딩과 비교해도 경쟁력 있는 NER 성능을 달성하면서도 메모리 사용량을 크게 줄여, 효율성 설계의 타당성을 입증한다.
• 대규모 OntoNotes 데이터셋에서는 해시 함수를 하나에서 세 개로 늘였을 때 F1 점수가 5% 향상되었지만, 네 개로 늘였을 때는 추가적인 향상이 관찰되지 않았다.
• 기본 설정인 2500개의 해시 행은 대부분의 데이터셋에서 충분히 효과적이었으며, 이 수치를 초과해 행 수를 늘여도 유의미한 성능 향상이 없었다.
• 철자적 특징은 일부 데이터셋(예: AnEM)에서 전체 성능 향상을 이끌었지만, 예상치 못하게 등장한 실체에서 F1 점수를 떨어뜨렸다. 이는 과적합 또는 특징 간 간섭을 시사한다.
• 작은 데이터셋인 CoNLL과 WNUT2017에서는 다중 해시 함수가 성능 향상에 미미한 영향을 미쳤으며, 이는 다른 철자적 특징이 충돌 위험을 완화시키기 때문일 것이다.
• 본 연구는 사용자가 메모리 사용량을 줄이고 추론 효율성을 높이기 위해 해시 행 수를 줄이고 단일 해시 함수를 사용하는 것을 시험해보는 것이 좋다고 권장한다. 이 경우 정확도 손실가능성이 크지 않다.