[論文レビュー] Few-Shot Representation Learning for Out-Of-Vocabulary Words

Ziniu Hu, Ting Chen+2 more|arXiv (Cornell University)|Jul 1, 2019

Topic Modeling参考文献 31被引用数 7

ひとこと要約

本稿では、文脈文と語彙素性特徴のみを用いて、少数の文でOut-of-Vocabulary (OOV) 単語の正確な埋め込みを学習する階層的アテンションベースのニューラルネットワーク、HiCEを提案する。OOV埋め込み学習を少サンプル回帰問題として定式化し、MAMLを活用することで高速な適応を実現し、最先端の性能を達成した。6サンプル学習設定において、従来手法よりもSpearman相関係数を9.3%向上させた。

ABSTRACT

Existing approaches for learning word embeddings often assume there are sufficient occurrences for each word in the corpus, such that the representation of words can be accurately estimated from their contexts. However, in real-world scenarios, out-of-vocabulary (a.k.a. OOV) words that do not appear in training corpus emerge frequently. It is challenging to learn accurate representations of these words with only a few observations. In this paper, we formulate the learning of OOV embeddings as a few-shot regression problem, and address it by training a representation function to predict the oracle embedding vector (defined as embedding trained with abundant observations) based on limited observations. Specifically, we propose a novel hierarchical attention-based architecture to serve as the neural regression function, with which the context information of a word is encoded and aggregated from K observations. Furthermore, our approach can leverage Model-Agnostic Meta-Learning (MAML) for adapting the learned model to the new corpus fast and robustly. Experiments show that the proposed approach significantly outperforms existing methods in constructing accurate embeddings for OOV words, and improves downstream tasks where these embeddings are utilized.

研究の動機と目的

• 少数の訓練例でのOOV単語の正確な埋め込みを学習する課題に対処すること。
• 語彙素性のみ、または文脈のみに依存する手法の限界を克服し、希少または未観測の単語の複雑な意味を捉えること。
• 新しいコーパスに迅速に適応できるようにすることで、新しいドメインへの一般化を可能にすること。
• より良いOOV表現を用いて、固有語認定や品詞タギングなどの下流NLPタスクを改善すること。

提案手法

• OOV埋め込み学習をKサンプル回帰問題として定式化し、モデルがK個の文脈文からオラクル埋め込みを予測する。
• 複数の文脈文間の情報を統合するため、マルチヘッド自己アテンションを用いた階層的文脈エンコーダー（HiCE）を導入する。
• 文字レベルのCNNエンコーダーを用いて語彙素性情報を統合し、文脈が不足している場合の表現を強化する。
• 各エピソードがOOV単語を模倣し、豊富な観測データをオラクル埋め込みとして使用するエピソードベースの訓練スキームを採用する。
• ドメインシフトを伴う新しいコーパスに、事前学習済みのHiCEモデルを迅速かつ安定的に適応できるように、モデルに依存しないメタラーニング（MAML）を採用する。
• 少サンプル推論中に予測埋め込みとオラクル埋め込みを一致させるために、対照的損失を用いてモデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 少数サンプル回帰フレームワークは、制限された文脈と語彙素性特徴を用いて、OOV単語の正確な埋め込みを効果的に学習できるか？
• RQ2 階層的アテンションベースのアーキテクチャは、複数の短い文脈から意味情報を効果的に統合・表現できるか？
• RQ3 MAML微調整は、言語的パターンが異なる新しいドメインに一般化する能力を向上させるか？
• RQ4 提案手法は、内在的評価と下流NLPタスクの両方で、既存手法を上回る性能を発揮できるか？
• RQ5 文脈が極めて限られている場合（例：2〜4例）、語彙素性特徴を統合することで性能がどの程度向上するか？

主な発見

• Chimeraベンチマークにおいて、6サンプル学習設定で、最先端手法に対してSpearman相関係数を9.3%相対的に向上させた。
• 固有語認定と品詞タギングの下流タスクにおいて、顕著な性能向上を示し、学習済みOOV埋め込みの強力な転送性を裏付けた。
• 文脈が最小限の状況では、語彙素性特徴の統合が明確な向上をもたらし、特に2サンプルおよび4サンプルの状況で顕著であった。
• MAML微調整により、事前学習済みHiCEモデルが新しいコーパスに迅速かつ安定的に適応でき、トレーニングと推論のドメイン間の意味的ギャップが縮小された。
• エピソードベースの訓練スキームは、実際のOOV推論状況を効果的にシミュレートし、オラクル埋め込みによる信頼性の高い監視を提供した。
• HiCEにおける階層的アテンションメカニズムは、単純な平均化や線形手法よりも、文脈レベルの意味をより効果的に統合できた。