[논문 리뷰] Big Data Small Data, In Domain Out-of Domain, Known Word Unknown Word: The Impact of Word Representation on Sequence Labelling Tasks

Lizhen Qu, Gabriela Ferraro외 4명|arXiv (Cornell University)|2015. 04. 21.

Topic Modeling참고 문헌 37인용 수 23

한 줄 요약

이 논문은 네 가지 시퀀스 레이블링 작업(품사 태깅, 군집 분석, 명명된 실체 인식, MWE)에서 다섯 가지 단어 표현 방법—브라운 클러스터링과 네 가지 신경망 단어 임베딩—을 평가한다. 결과적으로 단어 임베딩과 브라운 클러스터링은 OOV 및 도메인 외 단어에서 성능 향상에 크게 기여하며, 학습 중에 임베딩을 업데이트하는 것은 최소한의 성능 향상만을 가져오고 과적합의 위험을 증가시키며, 어떤 임베딩 방법도 모든 작업에서 일관되게 뛰어나지 못함을 확인한다.

ABSTRACT

Word embeddings -- distributed word representations that can be learned from unlabelled data -- have been shown to have high utility in many natural language processing applications. In this paper, we perform an extrinsic evaluation of five popular word embedding methods in the context of four sequence labelling tasks: POS-tagging, syntactic chunking, NER and MWE identification. A particular focus of the paper is analysing the effects of task-based updating of word representations. We show that when using word embeddings as features, as few as several hundred training instances are sufficient to achieve competitive results, and that word embeddings lead to improvements over OOV words and out of domain. Perhaps more surprisingly, our results indicate there is little difference between the different word embedding methods, and that simple Brown clusters are often competitive with word embeddings across all tasks we consider.

연구 동기 및 목표

• 통제된 조건 하에서 다양한 단어 표현 방법의 영향을 시퀀스 레이블링 작업에 평가하기.
• 특히 제한된 학습 데이터에서 단어 임베딩이 원-핫 인코딩 또는 브라운 클러스터링보다 일반화 성능이 뛰어나지 않는지 조사하기.
• 작업별로 사전에 학습된 단어 임베딩을 업데이트하는 것이 성능과 벡터 기하학에 미치는 영향 평가하기.
• 다양한 표현 방법에서 비어 있는 어휘(Out-of-Vocabulary, OOV)어와 도메인 외 단어에서의 성능 분석하기.
• 여러 시퀀스 레이블링 작업 전반에 걸쳐 어떤 단어 임베딩 방법도 일관되게 뛰어나지 않는지 확인하기.

제안 방법

• 다섯 가지 단어 표현 방법을 평가: 브라운 클러스터링, 콜로버트 & 웨스턴(CW), CBOW, 스킵그램, GloVe.
• 모든 단어 표현은 POS 태깅, 군집 분석, NER, MWE 식별을 위한 CRF 기반 시퀀스 레이블링 모델의 입력 특징으로 사용된다.
• 라벨이 부여된 데이터의 다양한 양(최소 100개에서 전체 학습 세트까지)을 사용하여 데이터 효율성 평가.
• 업데이트 실험에서는 백프로파게이션을 사용해 시퀀스 레이블링 학습 중에 단어 임베딩을 미세조정하고, 나머지는 고정된 상태로 유지한다.
• 도메인 내, 도메인 외, OOV 단어 서브셋에서 표준 지표(F1, 정확도)를 사용해 성능 측정.
• 업데이트 과정 중 벡터 변화의 기하학적 분석을 수행해 단어 표현 공간에 미치는 영향 평가.

실험 결과

연구 질문

• RQ1 RQ1: 단어 임베딩과 브라운 클러스터링은 시퀀스 레이블링 작업에서 원-핫 유니그램 특징보다 뛰어나게 성능을 발휘하는가?
• RQ2 RQ2: 단어 임베딩는 특히 자원이 제한된 환경에서 대량의 라벨 데이터가 필요로 하는 것을 줄일 수 있는가?
• RQ3 RQ3: 사전에 학습된 단어 임베딩를 작업별 학습 중에 업데이트하는 것이 경험적 및 기하학적 영향을 미치는가?
• RQ4 RQ4: 다양한 표현 방법에서 OOV 단어와 도메인 외 데이터에서 단어 표현은 어떻게 성능을 내는가?
• RQ5 RQ5: 다양한 시퀀스 레이블링 작업 전반에 걸쳐 항상 뛰어난 성능을 내는 단어 임베딩 방법이 존재하는가?

주요 결과

• 단어 임베딩과 브라운 클러스터링은 특히 제한된 학습 데이터에서 원-핫 유니그램 특징보다 뚜렷하게 뛰어나며, 100~200개의 샘플만으로도 경쟁 가능한 성능을 기록한다.
• 학습 중에 단어 임베딩을 업데이트하는 것은 성능 향상이 극히 미미하며, 특히 저빈도어와 OOV어에서 과적합의 위험이 증가한다.
• 브라운 클러스터링은 네 가지 작업 전반에서 신경망 단어 임베딩와 경쟁 가능하며, 강력한 인덕티브 바이어스와 강건성을 보여준다.
• 단어 임베딩과 브라운 클러스터링은 OOV 및 도메인 외 단어에서 성능 향상을 보이며, 특히 임베딩을 업데이트하지 않은 경우 최고의 성능을 기록한다.
• 어떤 단어 임베딩 방법도 모든 작업에서 일관되게 뛰어나지 못하며, 스킵그램은 품사 태깅에서 略적 우위를 보이지만 일반화되지 않는다.
• 저자들이 개발한 최고 성능 모델과 최신 기술 시스템 간의 성능 격차는 단어 표현 선택이 아닌 모델 복잡성(예: 1차 CRF 대 2차 CRF)과 하이퍼파라미터 튜닝에 기인한다.