[論文レビュー] Breaking Sticks and Ambiguities with Adaptive Skip-gram

Sergey Bartunov, Dmitry Kondrashkin+2 more|arXiv (Cornell University)|Feb 25, 2015

Natural Language Processing Techniques参考文献 33被引用数 120

ひとこと要約

この論文は、語の意味の曖昧さを事前に定義された意味数を必要とせずに、1語あたり複数の文脈依存的語彙表現を自動で学習できる、非パrametricなベイジアン拡張版であるAdaptive Skip-gram（AdaGram）を提案する。モデルはオンライン変分推論を用いて効率的にスケーリングされ、語の意味の誘導およびWeb検索の多様化タスクで最先端の性能を達成する。

ABSTRACT

Recently proposed Skip-gram model is a powerful method for learning high-dimensional word representations that capture rich semantic relationships between words. However, Skip-gram as well as most prior work on learning word representations does not take into account word ambiguity and maintain only single representation per word. Although a number of Skip-gram modifications were proposed to overcome this limitation and learn multi-prototype word representations, they either require a known number of word meanings or learn them using greedy heuristic approaches. In this paper we propose the Adaptive Skip-gram model which is a nonparametric Bayesian extension of Skip-gram capable to automatically learn the required number of representations for all words at desired semantic resolution. We derive efficient online variational learning algorithm for the model and empirically demonstrate its efficiency on word-sense induction task.

研究の動機と目的

• 標準的なSkip-gramモデルが語の意味の曖昧さを処理する点で抱える制限を、1語あたり複数の表現を学習することで克服する。
• 既存の複数プロトタイプモデルで必要な語の意味数を事前に定義する必要をなくす。
• 意味的分解能を1つのハイパーパrameterで制御できる、スケーラブルでオンライン学習可能な語表現アルゴリズムを開発する。
• 語の意味の誘導および実世界のWeb検索の多様化タスクにおけるモデルの評価を通じて、実用的価値を示す。

提案手法

• 語のプロトタイプにディリクレ過程事前分布を導入することで、語の意味を非パラメトリックに学習可能にするようにSkip-gramモデルを拡張する。
• ストリーミングテキストデータに適応するため、Collapsed Gibbsサンプリングに基づくオンライン変分推論アルゴリズムを採用する。
• 各語のプロトタイプ数を制御する分解能パrameter αを導入し、意味クラスタの自動発見を可能にする。
• 各コンテキスト語が文脈に応じた特定のプロトタイプから予測されるように、語表現の混合モデルを構築する。
• 元のSkip-gramと同等の速度を維持しつつ、逐次的に表現を更新する効率的なオンライン学習手順を導出する。
• 計算効率を確保するため、1語あたりのプロトタイプ数を固定値T=30で切り詰めるが、α ∈ [0.1, 0.2] の範囲ではモデル性能に影響を与えない。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックな語の意味数の事前知識なしに、非パラメトリックなベイジアン拡張Skip-gramが適切な数の語プロトタイプを自動で学習できるか？
• RQ2 分解能パrameter α が学習済み語表現の品質および解釈可能性にどのように影響するか？
• RQ3 提案手法は、語の意味の誘導ベンチマークにおいて、従来のパラメトリックおよび非パラメトリック手法を上回る性能を示すか？
• RQ4 語の意味の曖昧さをよりよく捉えることで、Web検索結果の多様化といった実世界の応用を改善できるか？

主な発見

• AdaGramはWWSIデータセットで最高の調整ランダムインデックス（ARI）を達成し、MSSGおよびNP-MSSGを顕著に上回り、α=0.15でピークARI 0.48を記録した。
• MSSGの非パラメトリック版（NP-MSSG）は、3つのプロトタイプを持つ固定プロトタイプMSSGでさえも下回り、意味的語の意味を発見する能力の限界を示している。
• AdaGramはSemEval-2013 Task 11のWeb検索多様化タスクでも優れた性能を示し、比較モデルより単調に高いSubtopic Recall@KおよびPrecision@r曲線を達成した。
• スケーラブルなオンライン変分推論アルゴリズムのおかげで、元のSkip-gramと比べてわずかに遅くなるにとどまり、高い効率性を維持した。
• αの値が0.1から0.2の範囲で最適な性能を示し、T=30が発見されたプロトタイプの全範囲を捕捉するのに十分であることが判明した。
• 定性的な分析により、学習済みの語表現が文脈に応じて「りんご」を果物または会社として明確に区別する、明確な意味的意味に一致することが確認された。