[論文レビュー] Learning Meta-Embeddings by Using Ensembles of Embedding Sets

Wenpeng Yin, Hinrich Schütze|arXiv (Cornell University)|Aug 18, 2015

Text and Document Classification Technologies被引用数 7

ひとこと要約

本稿では、複数の事前学習済み単語埋め込みセットを組み合わせることでメタ埋め込みを学習するアンサンブル手法を提案する。手法には連結（CONC）、特異値分解（SVD）、および新しい1toN+アプローチが含まれる。1toN+は、同時にメタ埋め込みと未知語（OOV）表現を学習する。主な貢献は、メタ埋め込みが単一の埋め込みセットを上回る性能を示し、語彙カバレッジを顕著に向上させることである。

ABSTRACT

Word embeddings -- distributed representations of words -- in deep learning are beneficial for many tasks in natural language processing (NLP). However, different embedding sets vary greatly in quality and characteristics of the captured semantics. Instead of relying on a more advanced algorithm for embedding learning, this paper proposes an ensemble approach of combining different public embedding sets with the aim of learning meta-embeddings. Experiments on word similarity and analogy tasks and on part-of-speech tagging show better performance of meta-embeddings compared to individual embedding sets. One advantage of meta-embeddings is the increased vocabulary coverage. We will release our meta-embeddings publicly.

研究の動機と目的

• 異なる事前学習済み単語埋め込みセット間での品質や意味的特性のばらつきに対処すること。
• 複数の埋め込みセットを統合して、より強固で汎用性の高い単語表現を構築する手法を開発すること。
• 性能の向上と語彙カバレッジの拡大、特に未知語（OOV）の対応を同時に実現すること。
• コーパスが入手できない場合に、埋め込みモデルを再学習する代替手段として、簡単かつ効率的な手法を提供すること。

提案手法

• CONCは、複数の埋め込みセットからの単語ベクトルを1つの単語ごとに高次元ベクトルに連結する。
• SVDは連結されたベクトルに対して次元削減を施し、低次元のメタ埋め込みを生成する。
• 1toNは、各単語に対して共有のメタ埋め込みを学習し、個々の埋め込みセットの表現を予測するように微調整することで、補完的な意味的特徴を捉える。
• 1toN+は1toNを拡張し、1回の最適化ステップでメタ埋め込みとOOV埋め込みを同時に学習することで、完全な語彙カバレッジを実現する。
• OOV処理のベースラインとしてMutualLearningを用い、1toN+および他のアンサンブル手法と比較する。
• アンサンブル手法は、標準ベンチマークを用いて語彙類似性、語のアナロジー、品詞タギングのタスクで評価される。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル手法を用いて複数の事前学習済み単語埋め込みセットを統合することで、個々の埋め込みセットよりも優れたパフォーマンスを示すメタ埋め込みが得られるか？
• RQ2 アンサンブル手法は、特に未知語（OOV）に対して、どの程度語彙カバレッジを向上させるか？
• RQ3 CONC、SVD、1toN、1toN+といった異なるアンサンブル戦略は、NLPタスク全体において性能と頑健性の面でどのように比較されるか？
• RQ4 1toN+手法は、同時にメタ埋め込みとOOV表現を効果的に学習できており、他のOOV処理技術を上回る性能を示すか？

主な発見

• SVD、1toN、1toN+で学習されたメタ埋め込みは、語彙類似性およびアナロジータスクで個々の埋め込みセットを上回り、1toN+が全体で最高のパフォーマンスを達成した。
• 語のアナロジータスクにおいて、CONC-ml、SVD-ml、1toN-mlはそれぞれ意味的アナロジーで88.1、87.3、88.2のスコアを記録し、GloVeの81.4を上回った。
• OOV処理において、1toN+はMutualLearningと同等の性能を示し、HLBL、Huang、CWの各埋め込みにおいて、すべての指標でわずかに優れた結果を達成した。
• 品詞タギングにおいて、メタ埋め込みは多くのドメインで個々の埋め込みセットを上回る性能を示したが、SVDは限定的な向上（12のケースのうち3つのみで優れた結果）にとどまった。
• 埋め込み次元数にかかわらず頑健な性能を示し、d ∈ [100, 500] の範囲でピーク性能が得られ、d ≥ 150 では安定した性能を維持した。