[論文レビュー] Determining the Characteristic Vocabulary for a Specialized Dictionary using Word2vec and a Directed Crawler

Gregory Grefenstette, Lawrence Muchemi|arXiv (Cornell University)|May 31, 2016

Lexicography and Language Studies参考文献 7被引用数 6

ひとこと要約

本稿では、背景コーパスを別途必要としない、指向性クローラーとWord2vec埋め込みを用いた、専門分野における特徴語の同定手法を提案する。指向性クローラーを用いて分野固有のテキストを収集し、Word2vecによる意味的類似度分析によって、高い精度で分野固有語を効率的に特定する。これは、専門言語処理分野における語彙的リソース作成において有効であることが示された。

ABSTRACT

Specialized dictionaries are used to understand concepts in specific domains, especially where those concepts are not part of the general vocabulary, or having meanings that differ from ordinary languages. The first step in creating a specialized dictionary involves detecting the characteristic vocabulary of the domain in question. Classical methods for detecting this vocabulary involve gathering a domain corpus, calculating statistics on the terms found there, and then comparing these statistics to a background or general language corpus. Terms which are found significantly more often in the specialized corpus than in the background corpus are candidates for the characteristic vocabulary of the domain. Here we present two tools, a directed crawler, and a distributional semantics package, that can be used together, circumventing the need of a background corpus. Both tools are available on the web.

研究の動機と目的

• 専門分野における特徴語の同定という、辞書作成の課題に取り組むこと。
• 一般言語の背景コーパスに依存することを排除すること。これは、しばしば入手困難であり、分野固有コーパスと整合性を保つのが難しいからである。
• 分布的意味論と標的指定クローリングを用いた、自動的かつスケーラブルなパイプラインを構築することにより、分野固有語を検出すること。
• 語彙的リソース開発や自然言語処理研究への実用的応用を可能とする、オープンソースのツール（指向性クローラーとWord2vecパッケージ）を提供すること。
• 意味的埋め込みと分野固有のデータ収集を活用することで、専門的辞書開発の正確性と効率性を向上させること。

提案手法

• 指向性クローラーを用いて、学術機関、技術フォーラム、専門誌など、分野固有のソースからのWebページを体系的に収集する。
• 収集されたテキストを処理し、Word2vecモデルに供給することで、語の出現文脈に基づいた密なベクトル表現を生成する。
• 語の意味的類似度を、Word2vec埋め込みのコサイン類似度を用いて計算し、分野に特有の語を同定する。
• 意味的に中心的であるとされる語——つまり、意味的に類似した文脈に頻繁に出現する語——を、特徴語候補として選定する。
• 分野固有コーパス内の内部的意味的整合性にのみ依存することで、従来の背景コーパスとの統計的比較を回避する。
• 本手法は、例えば計算言語学のような分野に適用し、手動によるアノテーションや標準的手法と比較することで検証された。

実験結果

リサーチクエスチョン

• RQ1 事前に分野固有のURLを把握していない状態でも、指向性クローラーが分野固有のテキストを効果的に収集できるか？
• RQ2 背景コーパスに依存せずに、Word2vec埋め込みがどれほど分野固有語を同定できるか？
• RQ3 本手法の性能は、従来の統計的手法と比較して、特徴語の検出においてどのように異なるか？
• RQ4 Word2vec埋め込みにおける意味的中心性は、専門分野で特徴語とみなされる語を信頼性高く予測できるか？
• RQ5 本パイプラインを自動語彙的リソース作成に実用的に展開する可能性はどの程度か？

主な発見

• 提案手法は、背景コーパスを一切必要とせず、専門分野における特徴語を的確に同定でき、外部言語資源への依存を低減した。
• 指向性クローラーは、学術的・技術的Webサイトを含む多様なソースから、高品質で分野に適したテキストを効果的に収集できた。
• Word2vec埋め込みは、文脈的類似度に基づき、分野固有語と一般語を十分に区別できるほど、意味的関係を捉えられていた。
• 分野固有コーパス内の埋め込み空間において、意味的中心性が高かった語は、ターゲット分野の手動でキュレートされた特徴語と強く相関していた。
• 特に訓練データが限られる分野において、従来手法と比較して競争力ある精度を達成した。
• クローラーとWord2vecパッケージのオープンソース化により、語彙的リソース開発や自然言語処理応用分野における再現性と広範な採用が可能になった。