[論文レビュー] Neural-based Noise Filtering from Word Embeddings

Kim-Anh Nguyen, Sabine Schulte im Walde+1 more|arXiv (Cornell University)|Oct 6, 2016

Topic Modeling参考文献 22被引用数 3

ひとこと要約

本稿では、深層フィードフォワードフィルターニューラルネットワークを用いて事前学習済み単語埋め込みのノイズを低減する2つの新規なニューラルネットワークベースのモデル—Complete Word Denoising Embeddings (CompEmb) および Overcomplete Word Denoising Embeddings (OverCompEmb)—を提案する。この手法は、意味的な重要性のある文脈を強化し、関係のない文脈を抑制することで、意味的側面の顕著性を向上させ、元の埋め込みと比較して単語類似度、類義語検出、名詞句分類タスクの性能が向上する。

ABSTRACT

Word embeddings have been demonstrated to benefit NLP tasks impressively. Yet, there is room for improvement in the vector representations, because current word embeddings typically contain unnecessary information, i.e., noise. We propose two novel models to improve word embeddings by unsupervised learning, in order to yield word denoising embeddings. The word denoising embeddings are obtained by strengthening salient information and weakening noise in the original word embeddings, based on a deep feed-forward neural network filter. Results from benchmark tasks show that the filtered word denoising embeddings outperform the original word embeddings.

研究の動機と目的

• 事前学習済み単語埋め込みにおけるノイズの問題に取り組み、下流のNLPタスクの性能を低下させる要因を解消すること。
• 外部の語彙リソースに依存せずに、ニューラルネットワークフィルタを用いた教師なしノイズ除去によって単語埋め込みを改善すること。
• フィルタリングによるノイズ低減が、完全および過完全なベクトル空間の両方における意味表現の質を向上させるかどうかを検証すること。
• フィルターネットワークの深さがノイズ除去性能およびベクトル品質に与える影響を評価すること。
• 再現可能性およびさらなる研究を支援するため、公開可能な実装を提供すること。

提案手法

• 本手法は、元の単語埋め込みからノイズ除去行列を学習するための、深層フィードフォワードで非線形かつパラメータ化されたニューラルネットワークフィルタを採用する。
• CompEmbでは、フィルタが元の埋め込みを同じ次元のノイズ除去空間に射影し、ベクトル長を維持する。
• OverCompEmbでは、元の埋め込みが事前にスパースコーディングによって過完全表現に変換され、その後フィルタリングが行われる。これにより、より高次元のノイズ除去ベクトルが得られる。
• 入力とフィルタリング出力の差を最小化する再構成損失を用いて、エンドツーエンドでフィルタを訓練する。
• アーキテクチャは固定された深さTを採用し、各層が入力を段階的に近似することで、ノイズ除去プロセスを段階的に改善する。
• モデルの評価はベンチマークデータセットにおけるコサイン類似度を用い、性能はスピアマン順位相関および正答率で測定される。

実験結果

リサーチクエスチョン

• RQ1 外部語彙リソースを一切使用せずに、ニューラルネットワークフィルタが事前学習済み単語埋め込みのノイズを効果的に低減できるか。
• RQ2 ノイズ除去は、単語類似度、類縁度、類義語検出タスクの性能を向上させるか。
• RQ3 フィルターネットワークの深さは、ノイズ除去された埋め込みの品質にどのように影響するか。
• RQ4 意味構造を捉える能力において、過完全表現戦略が完全表現よりも優れているか。
• RQ5 提案されたノイズ除去手法は、名詞句分類などの多様なNLPタスクに一般化可能か。

主な発見

• CompEmbおよびOverCompEmbの両方のノイズ除去埋め込みは、元の単語埋め込みよりも単語類似度および類縁度タスクで優れた性能を示し、MEN、WordSim-353、SimLex-999データセットでスピアマン順位相関が向上した。
• TOEFL類義語データセットでは、フィルタ深さT=3を使用した場合、類義語検出の正答率がベースラインの63.2%から88.6%に上昇し、顕著な性能向上が確認された。
• T=3を越えるフィルタ深さは性能の低下を引き起こし、過剰なフィルタリングが顕著な意味的情報を消失させることを示唆している。
• OverCompEmbモデルは、大多数のベンチマークでCompEmbを上回る性能を達成しており、過完全表現がノイズ除去の有効性を高めていることを示している。
• SVMとRBFカーネルを用いた名詞句括弧付けタスクでも分類精度が向上し、さまざまなNLPタスクにわたる頑健性が示された。
• 本手法の実装はGitHubで公開されており、再現性およびさらなる研究を支援している。