[논문 리뷰] BPEmb: Tokenization-free Pre-trained Subword Embeddings in 275 Languages

Benjamin Heinzerling, Michael Strube|arXiv (Cornell University)|2017. 10. 05.

Topic Modeling참고 문헌 14인용 수 128

한 줄 요약

BPEmb는 바이트-페어 인코딩(BPE)을 사용해 275개 언어에 대해 사전 학습된 부분단어 임베딩을 제공하여 토크나이징이 필요 없는 표현을 가능하게 하며, FastText 및 다른 부분단어 방법과 경쟁하면서도 훨씬 적은 자원을 사용합니다.

ABSTRACT

We present BPEmb, a collection of pre-trained subword unit embeddings in 275 languages, based on Byte-Pair Encoding (BPE). In an evaluation using fine-grained entity typing as testbed, BPEmb performs competitively, and for some languages bet- ter than alternative subword approaches, while requiring vastly fewer resources and no tokenization. BPEmb is available at https://github.com/bheinzerling/bpemb

연구 동기 및 목표

• 275개 언어에 걸친 대규모 BPE 기반 부분단어 임베딩의 사전 학습 컬렉션을 공개한다.
• 세부적 엔티티 타입 지정 작업에서 BPEmb를 평가하고 FastText 및 문자 임베딩과 비교한다.
• 토크나이즈가 필요 없는 표현을 시연하고 대안 대비 자원 효율성을 평가한다.
• BPE 병합 연산 수와 임베딩 차원 수가 성능에 미치는 영향을 분석한다.

제안 방법

• 모든 위키피디아에 바이트 페어 인코딩(BPE)을 적용하여 여러 병합 수에서 BPE 기호 목록을 얻는다.
• 위키피디아에서 파생된 텍스트를 대상으로 GloVe를 사용해 BPE 기호의 부분단어 임베딩을 사전 학습한다.
• 다양한 BPE 병합 연산 수(1k–200k) 및 임베딩 차원(25–300)에 대한 임베딩을 제공한다.
• Wikidata의 언급을 Freebase 유형에 매핑하여 미세한 엔티티 타입 지정 작업에서 부분단어 표현을 평가한다.
• 아키텍처(RNN, CNN, 평균화) 전반에서 토큰화된 및 부분단어 인식형인 FastText와 문자 기반 임베딩과 BPEmb를 비교한다.
• 광범위한 하이퍼파라미터 탐색에 따른 성능 분포를 보고하고 언어별 및 아키텍처별 결과를 제시한다.

실험 결과

연구 질문

• RQ1 다양한 언어에 걸친 미세한 엔티티 타입 지정에서 BPEmb가 FastText 및 문자 임베딩과 경쟁력 있거나 더 우수한 성능을 달성할 수 있는가?
• RQ2 토크나이즈가 필요 없는 BPEmb 표현이 정확도에서 토큰화된 방법과 일치하면서도 상당한 자원 절감을 제공하는가?
• RQ3 BPE 병합 연산 수와 임베딩 차원이 언어 및 아키텍처 전반에서 성능에 어떤 영향을 미치는가?
• RQ4 어떤 아키텍처(RNN, CNN, 또는 평균화)가 엔티티 타입 지정에 대해 BPEmb 부분단어 표현을 가장 잘 활용하는가?

주요 결과

• BPEmb는 영어 데이터셋에서 모든 다른 부분단어 단위보다 뛰어난 성능을 보이며(평균 0.624, 표준편차 0.029; 최대 0.65), 훨씬 적은 메모리로 FastText 성능에 비해 일치하거나 더 우수한 성능을 달성할 수 있다.
• 저차원 임베딩으로도 경쟁력 있는 결과를 얻을 수 있다(예: 100k BPE 심볼에 대해 25차원에서 11MB, 300차원에서 3백만 개 임베딩의 FastText는 6GB).
• 다언어 실험에서 명시적 토크나이징 없이도 자원이 풍부한 언어는 FastText와 비슷한 성능을 달성한다; 중간~저자원 언어의 경우 티베트어와 라오에서 이점이 있고 크메르어는 유니코드 처리 차이로 인해 저하한다.
• 표와 같은 언어 결과는 여러 언어에서 BPEmb가 FastText를 따라가거나 약간 개선하는 것을 보여준다(예: 영어 65.4 대 62.9; 중국어 72.0 대 71.0; 일본어 61.4 대 62.3).
• 평균화 임베딩은 가장 약한 아키텍처이며; RNN이 CNN보다 약간 나은 편이나 학습 시간이 더 길다; FastText는 하이퍼파라미터 간 변동성이 낮은 반면, BPEmb와 문자 모델은 더 높은 변동성을 보인다.