[論文レビュー] Semantic Specialisation of Distributional Word Vector Spaces using Monolingual and Cross-Lingual Constraints

Nikola Mrkšić, Ivan Vulić+6 more|arXiv (Cornell University)|Jun 1, 2017

Topic Modeling参考文献 74被引用数 37

ひとこと要約

本稿では、BabelNetなどの語彙的リソースから単語の類義語および対義語の制約を分布的ベクトル空間に取り入れることで、語ベクトルの質を向上させるAttract-Repelという手法を紹介する。このアプローチは、多言語の意味的類似度ベンチマークで最先端の性能を達成し、特に低リソース環境において顕著な対話状態追跡（DST）性能の向上を実現する。これにより、高品質な多言語間転送が可能になる。

ABSTRACT

We present Attract-Repel, an algorithm for improving the semantic quality of word vectors by injecting constraints extracted from lexical resources. Attract-Repel facilitates the use of constraints from mono- and cross-lingual resources, yielding semantically specialised cross-lingual vector spaces. Our evaluation shows that the method can make use of existing cross-lingual lexicons to construct high-quality vector spaces for a plethora of different languages, facilitating semantic transfer from high- to lower-resource ones. The effectiveness of our approach is demonstrated with state-of-the-art results on semantic similarity datasets in six languages. We next show that Attract-Repel-specialised vectors boost performance in the downstream task of dialogue state tracking (DST) across multiple languages. Finally, we show that cross-lingual vector spaces produced by our algorithm facilitate the training of multilingual DST models, which brings further performance improvements.

研究の動機と目的

• 語彙的リソースからの言語的制約を統合することで、分布的語ベクトルの意味的質を向上させること。
• 単語内および多言語の類義語および対義語関係を用いて、多言語ベクトル空間の意味的特徴化を可能にすること。
• 制約付きベクトル空間の整合化を通じて、高リソース言語から低リソース言語への転移学習を促進すること。
• 制約付き語ベクトルが下流NLPタスク（特に対話状態追跡（DST））に与える影響を評価すること。
• 内在的評価の向上（例：SimLex上での向上）が、必ずしも下流タスクへの比例的向上に繋がらないことを示し、その条件を同定すること。

提案手法

• Attract-Repelは、語の類義語同士を引き寄せ、対義語同士を遠ざけることで、事前学習済みの分布的語ベクトルを最適化する制約付き最適化プロセスを適用する。
• 線形変換を用いて語ベクトルを調整し、類義語間のコサイン類似度を向上させるとともに、対義語間の類似度を低下させる。
• BabelNetなどの多言語語彙的リソースから抽出された制約を用い、271言語にわたるベクトル空間の多言語的整合化を実現する。
• アルゴリズムは単語内および多言語の両方の制約を同時に最適化し、元の分布的構造を保持しながら意味的精度を向上させる。
• 既存の語ベクトル埋め込みに後処理として適用可能であり、さまざまな事前学習モデルと互換性がある。
• 本手法は、6言語におけるSimLex-999およびSimVerb-3500で評価され、多言語対話状態追跡における影響が検証されている。

実験結果

リサーチクエスチョン

• RQ1 単語内および多言語の類義語および対義語の制約を注入することで、分布的語ベクトルの意味的質を向上させることができるか？
• RQ2 BabelNetの制約を用いた多言語特化は、多言語意味的類似度ベンチマークでの性能向上に寄与するか？
• RQ3 意味的類似度評価における内在的向上が、対話状態追跡のような下流NLPタスクへの向上にどの程度比例するか？
• RQ4 Attract-Repelは、高リソース言語のベクトルを用いて、低リソース言語の高品質な語表現を有効に構築できるか？
• RQ5 低リソースおよび多言語DSTシナリオにおいて、Attract-Repelの性能は、ベースラインの二言語および多言語ベクトル空間と比較してどの程度優れているか？

主な発見

• Attract-Repelは、類義語制約を同様に使用する既存手法を上回り、多言語SimLex-999データセットで最先端の性能を達成した。
• 英語、イタリア語、ドイツ語の全言語で対話状態追跡（DST）性能が向上し、特にオントロジーに基づくベクトルを用いた低リソース環境で顕著な向上が見られた。
• Attract-Repel特化ベクトルを用いて訓練された多言語DSTモデルは、英語で82.8%、イタリア語で77.1%、ドイツ語で57.7%の精度を達成し、ベースラインモデルを上回った。
• SimLexスコアの大幅な向上にもかかわらず、DST性能の向上は控えめにとどまったため、内在的評価と下流評価の指標間に乖離があることが示された。
• BabelNetの制約を用いた多言語特化により、ヘブライ語やクロアチア語のような低リソース言語のDST性能が顕著に向上し、有効な転移学習が実現した。
• 単語内と多言語のAttract-Repelベクトル間の性能差は小さく、多言語の制約のみで堅牢で高品質な多言語表現が得られることを示唆している。