[論文レビュー] Unsupervised cross-lingual matching of product classifications

Denis Gordeev, Alexey Rey+1 more|arXiv (Cornell University)|Sep 19, 2018

Natural Language Processing Techniques参考文献 9被引用数 4

ひとこと要約

本稿では、事前に整列された多言語埋め込みと階層的構造を用いて、非教師ありの方法で多言語間製品分類をマッチングすることを提案する。階層的構造が、特に事前に整列された埋め込みを用いる場合に、精度を顕著に向上させることを示している。一方、MUSE や Vecmap といった非教師ありマッピング手法は、低リソース・ドメイン乖離型の分類体系では失敗する。

ABSTRACT

Unsupervised cross-lingual embeddings mapping has provided a unique tool for completely unsupervised translation even for languages with different scripts. In this work we use this method for the task of unsupervised cross-lingual matching of product classifications. Our work also investigates limitations of unsupervised vector alignment and we also suggest two other techniques for aligning product classifications based on their descriptions: using hierarchical information and translations.

研究の動機と目的

• 言語間で整列されていない国別製品分類体系を、特に低リソース言語においてマッチングする課題に対処すること。
• 非教師あり多言語埋め込み整列が、製品分類体系のカテゴリを効果的にマッピングできるかどうかを調査すること。
• 階層的構造と翻訳ベース手法が、マッチング精度を向上させるかどうかを評価すること。
• 既存の非教師ありおよび教師あり埋め込み整列手法（例：MUSE、Vecmap）が、小規模でドメイン特化型の分類体系において、どの程度限界に達するかを特定すること。
• ドメイン特化情報と構造的メタデータが、低リソース環境におけるマッチングパフォーマンスを向上させるかどうかを評価すること。

提案手法

• MUSE や Vecmap を用いて、異なる言語の単語埋め込みを共有ベクトル空間に非教師ありでマッピングする。
• OKPD2 および NIGP-5 の四段階構造を活用し、親カテゴリから子カテゴリへ類似度スコアを伝搬することで階層的マッチングを実施する。
• 事前学習済み翻訳エンジンを用いて翻訳ベースのマッチングを実施し、初期のマッチング候補を生成する。
• SVDベースのプロクラウストス補正と CSLS（Cross-lingual Similarity Local Scaling）を用いて、ハブネスを低減させることで、マッピング品質を向上させる。
• 事前に整列された埋め込みと階層的伝搬を組み合わせることで、特に低リソース環境においてパフォーマンスを向上させる。
• 翻訳されたカテゴリ記述を対象に、word2vec、doc2vec、文字列類似度を組み合わせて評価する。

実験結果

リサーチクエスチョン

• RQ1 非教師あり多言語埋め込み整列（例：MUSE、Vecmap）は、言語間で製品分類カテゴリを効果的にマッチングできるか？
• RQ2 分類体系における階層的構造が、多言語間分類マッチングの精度にどのように影響するか？
• RQ3 事前に整列された埋め込みか翻訳ベースの文字列マッチングのどちらが、小規模でドメイン特化型の分類体系において、純粋な埋め込み整列を上回るか？
• RQ4 語の頻度と分布的情報が、非Wikipediaドメインの低リソース環境における非教師あり整列のパフォーマンスにどの程度制限を及えるか？
• RQ5 構造的メタデータ（例：親子関係）は、スパースな分類体系における埋め込みベースマッチングの限界を緩和できるか？

主な発見

• MUSE や Vecmap は製品分類マッチングにおいて劣ったパフォーマンスを示し、英語→ロシア語では 51.7%、ロシア語→英語では 63.7% の精度にとどまり、英語→フィンランド語では Vecmap で平均 32.63% にとどまる。
• 教師ありおよび半教師ありマッピングは、小規模データセットでは、部分的に一致する辞書が存在しても、カテゴリ数が少なくドメインが乖離しているため失敗する。
• 事前に整列された埋め込みを用いる場合、階層的マッチングは精度を顕著に向上させる（p < 0.001）。一方、文字列類似度や平均化された Word2Vec を用いる場合には、性能を劣化させる（p < 0.001）。
• 文字列マッチングと翻訳ベース整列は、特に低リソース環境において、非教師あり埋め込み整列を上回る。
• 事前に整列された埋め込みと階層的伝搬を組み合わせた手法が最も優れた結果を示し、構造的メタデータがスパースで非並列ドメインにおける整列精度向上に不可欠であることを示唆している。
• 誤ってマッチングされたカテゴリの多くは、トピック的に関連性があった（例：'acids' → 'oils'）。これは、誤分類であっても意味的整合性が保たれていることを示しており、構造的制約を用いた精緻化の可能性を示唆している。