[論文レビュー] Creation and Evaluation of Datasets for Distributional Semantics Tasks in the Digital Humanities Domain

Gerhard Wohlgenannt, Ariadna Barinova+2 more|arXiv (Cornell University)|Mar 7, 2019

Topic Modeling参考文献 38被引用数 4

ひとこと要約

本稿では、『氷と炎の歌』および『ハリー・ポッター』の2つのファンタジー小説シリーズを用いて、分布的意味解析タスク（語の類推および語の不審者検出）のための高品質で手作業で検証されたデータセットを紹介する。これらのデータセット上で、word2vec、GloVe、fastText、LexVecといったさまざまな単語埋め込みモデルを評価した結果、小規模コーパスで学習された埋め込み表現でさえ、語の不審者検出タスクにおいて優れた性能を示し、特にCBOWモデルが最も困難なカテゴリで優れた結果を示した。また、デジタル・ヒューマニティーズ分野における自然言語処理研究の再現可能性および今後のベンチマーク作成を支援するため、オープンソースのリソースを提供している。

ABSTRACT

Word embeddings are already well studied in the general domain, usually trained on large text corpora, and have been evaluated for example on word similarity and analogy tasks, but also as an input to downstream NLP processes. In contrast, in this work we explore the suitability of word embedding technologies in the specialized digital humanities domain. After training embedding models of various types on two popular fantasy novel book series, we evaluate their performance on two task types: term analogies, and word intrusion. To this end, we manually construct test datasets with domain experts. Among the contributions are the evaluation of various word embedding techniques on the different task types, with the findings that even embeddings trained on small corpora perform well for example on the word intrusion task. Furthermore, we provide extensive and high-quality datasets in digital humanities for further investigation, as well as the implementation to easily reproduce or extend the experiments.

研究の動機と目的

• 小規模コーパスで学習された単語埋め込みの性能が、特に文学的テキストという特化したデジタル・ヒューマニティーズ分野でどの程度発揮されるかを評価すること。
• ファンタジー文学の文脈において、分布的意味解析タスクのための高品質で専門家がアノテートしたテストデータセットを構築すること。
• ドメイン特化型・リソースが限られた環境における単語埋め込み研究のための再現可能なベースラインを確立すること。
• ハイパーパrameter、語の頻度、固有語の処理が埋め込み性能に与える影響を調査すること。
• 拡張性とベンチマーク作成を支援するため、オープンソースのデータセット、学習済みモデル、評価コードを提供すること。

提案手法

• 『氷と炎の歌』および『ハリー・ポッター』の2つのファンタジー小説コーパス上で、複数の単語埋め込みモデル（word2vec、GloVe、fastText、LexVec）を学習した。
• 2種類のタスクを定義した：語の類推（例：夫：妻、印旛：家）および語の不審者検出（4語の集合から1つだけ不審な語を特定する）。
• 両タスクの高品質な正解アノテーションを保証するため、分野の専門家を用いてデータセットを構築した。
• 固有語（例：『多様な顔の神』）を捉えるために、シリーズ、タスクタイプ、ユニグラム／n-グラムモデルの組み合わせを用いて8つの評価データセットを生成した。
• 比較のためのベースライン手法としてPPMIおよび事前学習済み埋め込みを用い、ハイパーパrameterチューニングにはグリッドサーチを実施した。
• すべてのデータセット、学習済みモデル、評価コードをGitHubを通じて公開し、再現可能性および拡張性を確保した。

実験結果

リサーチクエスチョン

• RQ1 小規模な文学的コーパスで学習された単語埋め込みは、デジタル・ヒューマニティーズ分野における語の類推および語の不審者検出タスクでどの程度の性能を示すか？
• RQ2 語の類推や語の類推タスクにおいて、word2vec、GloVe、fastTextといった単語埋め込み手法のうち、どの手法が最も優れているのか。また、窓サイズなどのハイパーパrameterが性能に与える影響は？
• RQ3 コーパス内でのタスク用語の頻度が、単語埋め込みモデルの精度にどのように影響するか？
• RQ4 固有語や複合語表現は埋め込み品質にどのように影響を与え、n-gramはそれらをどの程度うまく捉えられるか？
• RQ5 これらのドメイン特化型タスクにおいて、単語埋め込みは伝統的な分布的モデル（PPMI）をどの程度上回るのか？

主な発見

• 小規模コーパスで学習された埋め込みでさえ、語の不審者検出タスクにおいて優れた性能を示した。特に、CBOWベースのモデルが最も困難な難易度カテゴリで他を上回った。
• GloVeモデルは類推タスクで優れた性能を示した一方、word2vecは語の類似度タスクでより効果的であった。これは、一般ドメイン評価で得られた先行研究の結果を裏付けた。
• 大きな語彙窓（文境界を越える可能性がある）は類推推論に有益であったが、小さな窓は語の不審者検出タスクの性能向上に寄与した。
• 語の頻度に顕著な影響があった：テキスト内で100回以上出現する語の埋め込みは著しく品質が向上した。予測語の頻度が、正解語の頻度よりも重要であることが示された。
• PPMIは一部の埋め込みモデルと同等の性能を示したが、特に語の不審者検出タスクでは、両小説シリーズおよびタスクタイプ全体で、単語埋め込みがPPMIを上回った。
• 本研究では、16,220件（ASOIF）および15,254件（HP）の合計31,474件の評価質問を含む包括的なオープンソースリソーススイートを提供しており、学習済みモデルとコードを用いた再現および拡張を可能としている。