[論文レビュー] Imparting Interpretability to Word Embeddings.

Aykut Koç, İhsan Utlu+2 more|arXiv (Cornell University)|Jul 19, 2018

Topic Modeling被引用数 4

ひとこと要約

本稿では、ロジットの同義語集から導出された事前に定義された次元に意味的に関連する語を整列させることで、単語埋め込みへの解釈可能性を付与する手法を提案する。埋め込み目的関数への加法的修正を用いることで、意味的整合性を損なわせることなく次元レベルの解釈可能性を向上させる。ベンチマークテストおよび人間評価により検証された。

ABSTRACT

As an ubiquitous method in natural language processing, word embeddings are extensively employed to map semantic properties of words into a dense vector representation. They capture semantic and syntactic relations among words but the vectors corresponding to the words are only meaningful relative to each other. Neither the vector nor its dimensions have any absolute, interpretable meaning. We introduce an additive modification to the objective function of the embedding learning algorithm that encourages the embedding vectors of words that are semantically related to a predefined concept to take larger values along a specified dimension, while leaving the original semantic learning mechanism mostly unaffected. In other words, we align words that are already determined to be related, along predefined concepts. Therefore, we impart interpretability to the word embedding by assigning meaning to its vector dimensions. The predefined concepts are derived from an external lexical resource, which in this paper is chosen as Roget's Thesaurus. We observe that alignment along the chosen concepts is not limited to words in the Thesaurus and extends to other related words as well. We quantify the extent of interpretability and assignment of meaning from our experimental results. Manual human evaluation results have also been presented to further verify that the proposed method increases interpretability. We also demonstrate the preservation of semantic coherence of the resulting vector space by using word-analogy and word-similarity tests. These tests show that the interpretability-imparted word embeddings that are obtained by the proposed framework do not sacrifice performances in common benchmark tests.

研究の動機と目的

• 単語埋め込みにおける次元に固有の意味が存在しないという解釈可能性の欠如に対処すること。
• 外部の語彙リソースと一致させることで、単語埋め込みの次元に解釈可能な意味的コンセプトを付与すること。
• 解釈可能性の向上中に、単語埋め込みの意味的整合性とパフォーマンスを維持すること。
• 解釈可能性を語彙リソースに含まれる語にとどめず、関連する未知語にも拡張できることを示すこと。
• 定量的ベンチマークと人間評価を通じて、手法の有効性を検証すること。

提案手法

• 事前に定義された概念に関連する語が特定の次元に高い値をとるように促すために、単語埋め込み学習の目的関数に加法的修正を導入する。
• 事前に定義された概念は、概念整列用の構造化された語彙リソースを提供するロジットの同義語集から取得する。
• 最適化目的関数を特定の次元に沿った意味的類似度を強調するように選択的に修正することで、元の学習メカニズムを維持する。
• 整列プロセスは学習中に適用され、埋め込み空間がコンセプトに対応する解釈可能な方向を学習できるようにする。
• モデル全体の再学習を必要とせず、追加の正則化項を目的関数に追加するだけで実現できる。
• 得られた埋め込みは、標準的な自然言語処理ベンチマークと人間によるアノテーションを用いて、解釈可能性と意味的品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 外部語彙リソースを用いて、単語埋め込みの個々の次元に解釈可能な意味を割り当てることは可能か？
• RQ2 解釈可能性は、語彙リソースに明示的に含まれる語にとどまらず、意味的に関連する未知語にもどの程度まで拡張可能か？
• RQ3 標準ベンチマークで測定した場合、提案手法によって単語埋め込み空間の意味的整合性が保持されているか？
• RQ4 人間評価者は、標準埋め込みと比較して、修正済み埋め込みの解釈可能性をどの程度高く評価するか？
• RQ5 単語アナロジーおよび類似度タスクにおけるパフォーマンスを低下させることなく、解釈性を向上させることは可能か？

主な発見

• 本手法は、ロジットの同義語集から定義されたコンセプトに関連する語を整列させることで、単語埋め込みの次元に解釈可能な意味を効果的に割り当てた。
• 整列の一般化により、同義語集に含まれる語に加え、意味的に関連する未知語に対しても解釈可能性が拡張されている。
• 単語アナロジーおよび類似度テストの結果、埋め込み空間の意味的整合性が保持されており、標準的な単語埋め込みと同等のパフォーマンスを示した。
• 人間評価により、修正済み埋め込みが標準埋め込みよりも顕著に解釈可能であると確認された。
• 目的関数への加法的修正が、学習されたベクトル空間の品質を損なわせることなく、解釈性を効果的に向上させた。
• 定量的結果から、標準的な自然言語処理ベンチマークで最先端のパフォーマンスを維持したまま、単語埋め込みに解釈性を体系的に付与可能であることが示された。