[論文レビュー] Automated Generation of Multilingual Clusters for the Evaluation of Distributed Representations

Philip Blair, Yuval Merhav+1 more|arXiv (Cornell University)|Nov 4, 2016

Topic Modeling被引用数 8

ひとこと要約

本論文では、ウィキデータとウィキペディアを用いて、言語に依存しない手法により、多言語の意味的クラスタと外れ値セットを自動生成する手法を提案する。この手法により、外れ値検出を用いた語の分散表現の内在的評価が可能になる。本手法はエンティティグラフ上の距離を活用して意味的に整合性のあるクラスタを形成し、得られたWikiSem500データセットは感情分析のパフォーマンスと強く相関しており、5つの言語における分散表現の評価に有効であることが検証された。

ABSTRACT

We propose a language-agnostic way of automatically generating sets of semantically similar clusters of entities along with sets of "outlier" elements, which may then be used to perform an intrinsic evaluation of word embeddings in the outlier detection task. We used our methodology to create a gold-standard dataset, which we call WikiSem500, and evaluated multiple state-of-the-art embeddings. The results show a correlation between performance on this dataset and performance on sentiment analysis.

研究の動機と目的

• 既存の内在的評価データセットに見られる、アノテーター間整合性の低さや多言語対応の欠如といった課題を解決すること。
• 人的アノテーションに依存しない、スケーラブルで自動化された外れ値検出データセットの代替案を提供し、主観性とバイアスを低減すること。
• 複数の言語と意味的カテゴリーをカバーする多様で多言語対応のベンチマークを構築すること。
• 新規データセットにおける内在的パフォーマンスと、感情分析などの下流の外在的タスクにおけるパフォーマンスとの相関を検証すること。

提案手法

• 本手法は、エンティティをノードとし、「所属する」および「下位分類」の関係をエッジとするウィキデータをグラフとみなす。
• 意味的類似度は、ウィキデータグラフ内でのエンティティ間の最短経路距離に反比例するものとして定義される。
• 共通のスーパークラスを持つエンティティを選択することでクラスタを形成し、意味的整合性を確保する。
• 外れ値は、クラスタ内のエンティティからの距離が大きいこと、複数の類似度基準に反する点に基づいて生成される。
• 本手法は、英語、スペイン語、ドイツ語、中国語、日本語の5言語に適用され、合計13,314件のテストケースが生成された。
• 得られたデータセット、WikiSem500は、語の分散表現の内在的評価に使用可能な形で公開された。

実験結果

リサーチクエスチョン

• RQ1 人的アノテーションを一切用いずに、言語に依存しない高品質な意味的クラスタと外れ値セットを自動生成できるか？
• RQ2 提案されたWikiSem500データセットにおけるパフォーマンスと、感情分析などの下流の外在的タスクにおけるパフォーマンスとの相関はどの程度か？
• RQ3 このデータセットはアナロジータスクのような内在的ベンチマークとも強い相関を示すか？また、多様性とスケーラビリティの観点から、既存のデータセットと比較してどうか？
• RQ4 モデルのWikiSem500におけるパフォーマンスの差が、複数の言語における意味理解の差をどの程度反映しているか？
• RQ5 構文的クラスタを追加することで、構文的下流タスクとの相関を向上させることができるか？

主な発見

• WikiSem500データセットには、5つの言語にまたがる13,314件のテストケースが含まれており、各言語で500個のクラスタグループを形成しており、大規模な多言語評価が可能である。
• 本データセットにおけるパフォーマンスは、感情分析のパフォーマンスとピアソン相関係数0.97以上を示しており、意味的下流タスクと強い整合性があることが示された。
• 英語、スペイン語、ドイツ語の埋め込み表現は高いパフォーマンス（OPP: 77.25–78.42）を示したが、中国語と日本語は低いスコア（OPP: 67.61–72.51）を示した。これは、訓練コーパスや語彙の規模が小さいことが主な要因とされる。
• アナロジータスク、特に意味的サブセットにおいて強い相関が観察されたため、本データセットが内在的評価ベンチマークとしての有効性を持つことが示された。
• 名詞句の句切り（noun-phrase chunking）との相関は弱く、これは期待通り、本データセットが構文的構造ではなく意味的類似度に焦点を当てているためである。
• 本手法により、人的アノテーションを一切行わず、スケーラブルに多言語のデータセットを生成でき、従来の外れ値検出ベンチマークの直感的な構造を保ったままである。