[論文レビュー] Huge Automatically Extracted Training Sets for Multilingual Word Sense Disambiguation

Tommaso Pasini, Francesco Elia+1 more|arXiv (Cornell University)|May 12, 2018

Natural Language Processing Techniques参考文献 1被引用数 6

ひとこと要約

本稿では、BabelNetとWikipediaを用いて自動的に作成された、英語および5つの主要なヨーロッパ・アジア言語をカバーする6つの大規模な多言語語学的意味解析（WSD）データセットを提示する。Train-o-Maticと呼ばれる半自動システムを活用することで、数百万件の意味タグ付き文が生成され、特にリソースが乏しい言語において、最先端または同等の性能を達成する supervised WSD が可能になる。

ABSTRACT

We release to the community six large-scale sense-annotated datasets in multiple language to pave the way for supervised multilingual Word Sense Disambiguation. Our datasets cover all the nouns in the English WordNet and their translations in other languages for a total of millions of sense-tagged sentences. Experiments prove that these corpora can be effectively used as training sets for supervised WSD systems, surpassing the state of the art for low-resourced languages and providing competitive results for English, where manually annotated training sets are accessible. The data is available at trainomatic.org.

研究の動機と目的

• supervised Word Sense Disambiguation (WSD) のための、大規模で多言語的かつ意味アノテーション済みの訓練データの不足を解消すること。
• 手作業でアノテートされたデータが限られているか存在しないリソースが乏しい言語において、高精度な supervised WSD を可能にすること。
• 手作業によるアノテーションに依存せずに、スケーラブルで自動的な方法で、高カバレッジの多言語WSDコーパスを構築すること。
• 自動的に生成されたデータセットが、複数の言語で既存の最先端システムと同等またはそれを上回る性能を示すかを評価すること。
• リソースが乏しい言語と豊富な言語の両方のWSDを支援する、公開可能なリソースを提供し、多言語NLP分野における再現可能性と進展を促進すること。

提案手法

• 語の意味インベントリを定義するために、レキシコグラフィックおよびエンキクロペディック知識を統合した多言語的意味ネットワーク、BabelNetを活用する。
• 訓練データ収集のための、大規模かつ多言語的な生の文のコーパスとして、Wikipediaを用いる。
• Train-o-Matic と呼ばれるシステムを適用し、言語間のアライメントと意味的類似度を用いて、文脈内の語を意味分布とともに自動的にアノテートする。
• Wikipediaのコミュニティがアノテートした意味リンクと多言語的アライメントに基づく意味伝播技術を適用し、訓練データを拡充する。
• 信頼度ベースのフィルタリングを実施し、高品質な意味アノテーションを保持し、信頼度が低い予測は破棄する。
• 英語の WordNet に含まれるすべての名詞と、それらの5つの他の言語（フランス語、ドイツ語、スペイン語、イタリア語、中国語）における翻訳を抽出することで、数百万件の意味タグ付き文からなるデータセットを構築する。

実験結果

リサーチクエスチョン

• RQ1 自動抽出された大規模で多言語的なWSDコーパスは、既存の最先端システムと同等またはそれ以上の性能を達成できるか？
• RQ2 自動生成された訓練データは、リソースが乏しい言語におけるWSD性能をどの程度向上させられるか？
• RQ3 BabelNetとWikipediaの組み合わせは、高品質で多言語的な意味アノテーション付きコーパスを生成するのにどの程度効果的か？
• RQ4 提案手法は、手作業によるアノテーションに依存せずに、複数の言語における多様な語彙的項目をカバーするスケーラブルな方法として機能するか？
• RQ5 手作業でキュレートされたデータセットで学習させたシステムと比較して、自動生成データで学習させたWSDシステムの性能は、英語のようなリソースが豊富な言語においてどうなるか？

主な発見

• 自動的に生成されたデータセットには、6言語にわたって数百万件の意味タグ付き文が含まれており、既存のリソースをはるかに超える訓練カバレッジを実現している。
• 提案されたデータセットで学習させた supervised WSD システムは、フランス語、ドイツ語、スペイン語、イタリア語、中国語といったリソースが乏しい言語で、最先端の性能を上回っている。
• 英語においても、新しいデータで学習させたシステムは、SemCor のような手作業でキュレートされたデータで学習させたシステムと同等の性能を達成しており、一部のシステムを上回っている。
• 特にリソースが乏しい環境では、訓練データの不足がシステムの有効性を制限するため、性能向上が顕著に顕在している。
• BabelNet と Wikipedia の使用により、手作業を要せず、スケーラブルに多言語的意味アノテーションが可能となり、大規模な自動データ作成の実現可能性が示された。
• これらのデータセットは trainomatic.org で公開されており、多言語NLP研究における再現可能性と広範な採用を促進している。