[논문 리뷰] Creation and Evaluation of Datasets for Distributional Semantics Tasks in the Digital Humanities Domain

Gerhard Wohlgenannt, Ariadna Barinova외 2명|arXiv (Cornell University)|2019. 03. 07.

Topic Modeling참고 문헌 38인용 수 4

한 줄 요약

이 논문은 '왕의 노래: 불과 얼음의 노래'와 '해리 포터'라는 두 허구 소설 시리즈를 활용하여 분포 의미론 작업—단어 유사성 및 단어 침입—을 위한 고품질 수작업 코딩된 데이터셋을 소개한다. 다양한 단어 임베딩 모델(Word2Vec, GloVe, fastText, LexVec)을 이 데이터셋에 대해 평가한 결과, 작은 코퍼스에서 학습된 임베딩 모델들도 단어 침입 작업에서 잘 성능을 내었으며, 특히 가장 곤란한 카테고리에서는 CBOW 기반 모델이 뛰어난 성능을 보였다. 이와 함께 디지털 인문학 NLP 분야의 향후 연구와 재현 가능성을 위해 오픈소스 자원을 제공한다.

ABSTRACT

Word embeddings are already well studied in the general domain, usually trained on large text corpora, and have been evaluated for example on word similarity and analogy tasks, but also as an input to downstream NLP processes. In contrast, in this work we explore the suitability of word embedding technologies in the specialized digital humanities domain. After training embedding models of various types on two popular fantasy novel book series, we evaluate their performance on two task types: term analogies, and word intrusion. To this end, we manually construct test datasets with domain experts. Among the contributions are the evaluation of various word embedding techniques on the different task types, with the findings that even embeddings trained on small corpora perform well for example on the word intrusion task. Furthermore, we provide extensive and high-quality datasets in digital humanities for further investigation, as well as the implementation to easily reproduce or extend the experiments.

연구 동기 및 목표

• 작은 코퍼스에서 학습된 단어 임베딩의 성능이 전문화된 디지털 인문학 분야, 특히 문학 텍스트에서 어떻게 나타나는지 평가하는 것.
• 허구 문학의 맥락에서 분포 의미론 작업을 위한 고품질 전문가가 검증한 테스트 데이터셋을 구축하는 것.
• 도메인 특화, 자원이 제한된 환경에서의 단어 임베딩 연구를 위한 재현 가능한 기준을 설정하는 것.
• 초기화 조정, 어휘 빈도, 명명된 실체 처리 방식이 임베딩 성능에 미치는 영향을 조사하는 것.
• 재현 가능성과 확장 가능성을 지원하기 위해 오픈소스 데이터셋, 훈련된 모델, 평가 코드를 제공하는 것.

제안 방법

• 두 허구 소설 코퍼스인 '왕의 노래: 불과 얼음의 노래'와 '해리 포터'에서 여러 단어 임베딩 모델(Word2Vec, GloVe, fastText, LexVec)을 훈련시켰다.
• 두 가지 다른 작업 유형을 구성했다: 단어 유사성(예: 남편:아내, 문장:가문)과 단어 침입(네 개의 단어 중 이상한 단어를 식별하는 작업).
• 도메인 전문가를 활용해 두 작업 유형 모두에 대해 고품질의 참값 레이블을 확보하였다.
• 책 시리즈, 작업 유형, 유니그램/n-그램 모델의 조합을 통해 총 여덟 개의 평가 데이터셋을 생성하여 '여러 얼굴의 신'과 같은 명명된 실체를 포괄하도록 하였다.
• 기본 기반 방법으로 PPMI 및 사전 훈련된 임베딩을 비교하기 위해 사용하였고, 초기화 조정을 위해 그리드 서치를 수행하였다.
• 모든 데이터셋, 훈련된 모델, 평가 코드를 GitHub를 통해 공유했으며, 재현 가능성과 확장 가능성을 보장하였다.

실험 결과

연구 질문

• RQ1 작은 문학 코퍼스에서 학습된 단어 임베딩이 디지털 인문학 분야의 단어 유사성 및 단어 침입 작업에서 얼마나 잘 성능을 내는가?
• RQ2 어느 단어 임베딩 기법(예: Word2Vec, GloVe, fastText)이 각 작업 유형에서 가장 우수한 성능을 내는가? 창문 크기와 같은 초기화 조정 값이 성능에 미치는 영향은 어떠한가?
• RQ3 코퍼스 내 작업 용어의 빈도가 단어 임베딩 모델의 정확도에 어떤 영향을 미치는가?
• RQ4 명명된 실체와 복합어 표현이 임베딩 품질에 미치는 영향은 무엇이며, n-그램은 이러한 표현을 포괄하는 데 어떤 역할을 하는가?
• RQ5 이 도메인 특화 작업에서 단어 임베딩이 PPMI와 같은 전통적인 분포 의미 모델보다 얼마나 뛰어난가?

주요 결과

• 작은 코퍼스에서 학습된 임베딩 모델들이라도 단어 침입 작업에서 강력한 성능을 보였으며, 특히 가장 곤란한 난이도 카테고리에서는 CBOW 기반 모델이 다른 모델들을 앞섰다.
• GloVe 모델은 유사성 작업에서 뛰어난 성능을 보였고, Word2Vec은 단어 유사성 작업에서 더 효과적이었으며, 이는 일반 도메인 평가에서 이전에 확인된 결과를 재확인한 것이다.
• 큰 단어 창문(문장 경계를 넘는 가능성이 있음)은 유사성 추론에 유리했고, 작은 창문은 단어 침입 작업에서 성능 향상에 기여하였다.
• 어휘 빈도가 큰 영향을 미쳤다: 텍스트에서 100번 이상 나타난 단어의 임베딩 품질이 크게 향상되었으며, 예측된 단어의 빈도가 정답 단어의 빈도보다 더 중요했다.
• PPMI는 일부 임베딩 모델과 유사한 성능을 보였고, 특히 단어 침입 작업에서 경쟁력이 있었지만, 전반적으로 두 책 시리즈와 두 작업 유형 모두에서 단어 임베딩이 PPMI를 뛰어넘었다.
• 본 연구는 16,220개(ASOIF 기준)와 15,254개(HP 기준)의 질문을 포함해 총 31,474개의 평가 질문을 포함한 종합적인 오픈소스 리소스 세트를 제공하며, 복제 및 확장에 사용 가능한 훈련된 모델과 코드를 함께 제공한다.