[論文レビュー] Lifelong Domain Word Embedding via Meta-Learning

Hu Xu, Bing Liu+2 more|arXiv (Cornell University)|May 25, 2018

Topic Modeling参考文献 18被引用数 13

ひとこと要約

本稿では、L-DEM を提案する。L-DEM は、以前に学習済みのドメインから関連する文脈的知識を検索・統合することで、新しいドメインの埋め込みを強化する、生涯学習型ドメイン固有語彙埋め込みフレームワークである。異なるドメイン間で意味的に類似した文脈を特定するためにパrametricなメタラーナーを活用することで、L-DEM は下流の NLP タスクの性能を向上させ、L-DEM 200D + ND 30M は3つの新しいドメインで最先端の精度を達成した。

ABSTRACT

Learning high-quality domain word embeddings is important for achieving good performance in many NLP tasks. General-purpose embeddings trained on large-scale corpora are often sub-optimal for domain-specific applications. However, domain-specific tasks often do not have large in-domain corpora for training high-quality domain embeddings. In this paper, we propose a novel lifelong learning setting for domain embedding. That is, when performing the new domain embedding, the system has seen many past domains, and it tries to expand the new in-domain corpus by exploiting the corpora from the past domains via meta-learning. The proposed meta-learner characterizes the similarities of the contexts of the same word in many domain corpora, which helps retrieve relevant data from the past domains to expand the new domain corpus. Experimental results show that domain embeddings produced from such a process improve the performance of the downstream tasks.

研究の動機と目的

• 高品質なドメイン固有語彙埋め込みを学習するためのドメイン内コーパスが限られているという課題に対処すること。
• 意味的ずれのため、一般向け埋め込み（例：GloVe）がドメイン固有の語の意味を正しく捉えられないという問題を克服すること。
• 過去に学習済みのドメインから蓄積された知識を活用することで、NLP における継続的学習を可能にすること。
• 人為的介入なしに、関連する過去のドメイン文脈を自動的に同定・統合する方法を確立すること。
• メタラーニングを用いて、過去のドメインからの意味的に関連するデータを新ドメインのコーパスに統合することで、下流の NLP タスク（例：分類）の性能を向上させること。

提案手法

• 新しいドメインの埋め込みタスクが、n 個の過去に学習済みのドメインからの知識を活用する生涯学習の設定を導入する。
• 異なるドメイン間で類似した語の文脈を特定できるように、複数ドメインのメタラーナーを設計する。
• パrametricなメタラーナーを用いて、新ドメインのターゲット語の文脈と過去のドメインの文脈との類似度を計算する。
• 過去のドメインから関連する文脈を検索し、新ドメインのコーパスに統合することで、学習データの多様性とドメイン特異性を向上させる。
• 統合されたコーパス（新ドメイン + 検索済みの過去の文脈）を用いて、skip-gram や類似の目的関数で最終的な語彙埋め込みを学習する。
• 下流の分類タスクにおいて、固定された埋め込みを用いて Bi-LSTM 分類器を評価することで、埋め込み品質を孤立して評価する。

実験結果

リサーチクエスチョン

• RQ1 人為的監視なしに、多様なドメイン間で意味的に類似した語の文脈を効果的に同定できるか？
• RQ2 過去のドメインの関連文脈を新ドメインのコーパスに統合することで、学習されたドメイン固有埋め込みの品質が向上するか？
• RQ3 本手法の性能は、一般向け埋め込み（例：GloVe）や連結ベースのベースラインと比較して、下流の NLP タスクで優れているか？
• RQ4 より多くの過去のドメインを用いることで、埋め込みの品質や下流タスクの精度にどのような影響があるか？
• RQ5 非パラメトリックな代替手法（例：TF-IDF + コサイン類似度）と比較して、パラメトリックなメタラーナーが有用な過去の文脈を効果的に検索できるか？

主な発見

• L-DEM 200D + ND 30M は、すべての3つの下流ドメインで最高の精度を達成した：Computer Components で 0.887、Kitchen Storage and Organization で 0.783、Cats Supply で 0.817。
• L-DEM の性能は、過去のドメイン数が増えるにつれて向上し、より多様なドメインからの知識が埋め込み品質を向上させることを示している。
• 200 個の過去ドメインをすべて新ドメインコーパスに統合した（200D + ND 30M）場合、ドメインの不一致やノイズの影響により、新ドメインデータのみを使用した場合より性能が劣化した。
• パラメトリックなメタラーナー（L-DEM）は、非パラメトリックなバージョン（L-DENP）を著しく上回ったが、より一般的な Computer Components ドメインを除いては同様の傾向が見られた。
• GloVe.840B と L-DEM 埋め込みを連結することで、GloVe 単体を使用した場合よりも性能が向上し、L-DEM がドメイン固有の表現学習を強化していることを示している。
• GloVe.840B は Computer Components ドメインでは L-DEM とほぼ同等の性能を示し、このドメインはより一般的であり、ドメイン固有の文脈に敏感でない可能性を示唆している。