[論文レビュー] $k$-Nearest Neighbor Augmented Neural Networks for Text Classification

Zhiguo Wang, Wael Hamza+1 more|arXiv (Cornell University)|Aug 25, 2017

Topic Modeling参考文献 21被引用数 12

ひとこと要約

本稿では、入力テキストの訓練データ内におけるk近傍（kNN）のインスタンスレベル情報（外部メモリとしての機能）を統合することで、テキスト分類のためのkNN拡張ニューラルネットワークを提案する。モデルはニューラルネットワーク埋め込みと注目重み付きkNN特徴を組み合わせており、データが少ない状況やクラス不均衡の状況において、強力なベースラインを上回る性能を発揮し、いくつかのベンチマークで29層の深層ネットワークをも凌駕する。

ABSTRACT

In recent years, many deep-learning based models are proposed for text classification. This kind of models well fits the training set from the statistical point of view. However, it lacks the capacity of utilizing instance-level information from individual instances in the training set. In this work, we propose to enhance neural network models by allowing them to leverage information from $k$-nearest neighbor (kNN) of the input text. Our model employs a neural network that encodes texts into text embeddings. Moreover, we also utilize $k$-nearest neighbor of the input text as an external memory, and utilize it to capture instance-level information from the training set. The final prediction is made based on features from both the neural network encoder and the kNN memory. Experimental results on several standard benchmark datasets show that our model outperforms the baseline model on all the datasets, and it even beats a very deep neural network model (with 29 layers) in several datasets. Our model also shows superior performance when training instances are scarce, and when the training set is severely unbalanced. Our model also leverages techniques such as semi-supervised training and transfer learning quite well.

研究の動機と目的

• 標準的なニューラルネットワークが、強力な統計的汎化性能を有するにもかかわらず、個々の訓練例からのインスタンスレベルの情報を捉える能力に限界を示す問題に対処する。
• 深層ニューラルネットワークが、訓練データ内で「IBM」が「Sci/Tech」と強く関連づけられているような、誤った語彙レベルの信号によって引き起こされる誤分類を是正できない問題を克服する。
• パrametricなニューラルネットワーク学習と非パラメトリックなkNNに基づくインスタンスレベルの知識を統合し、予測のロバスト性を向上させる。
• 低データ環境、クラス不均衡状況、トランスファー／半教師あり学習のシナリオにおいて、その有効性を示す。

提案手法

• 入力テキストとその訓練データ内でのk近傍（kNN）を、共有埋め込み空間に埋め込むためのニューラルネットワークエンコーダを用いる。
• 各入力のkNNを外部メモリとして扱い、入力に対する関連性に基づいて各近傍を重みづけする、マルチパースペクティブな注目メカニズムを適用する。
• kNN近傍の注目重みを用いて、注目重み付きkNNラベル分布と注目重み付きkNNテキスト埋め込みを計算する。
• 最終予測のための3つの特徴（入力テキスト埋め込み、注目重み付きkNNラベル分布、注目重み付きkNNテキスト埋め込み）を統合する。
• 異なるデータセット（例：DBPedia）のkNNを外部メモリとして用いることで、半教師あり学習およびトランスファー学習を可能にする（例：AG’s Newsをターゲットタスクとして、DBPediaのkNNを外部メモリとして使用）。
• エンドツーエンドでクロスエントロピー損失を用いて学習させ、エンコーダと注目重みの両方を同時に学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 kNNに基づくインスタンスレベルの情報を統合することで、標準モデルが誤った語彙的関連性によって失敗する状況においても、ニューラルネットワークモデルの性能が向上するか？
• RQ2 標準的、低データ、不均衡な訓練条件の下で、提案されたkNN拡張モデルは、強力なベースラインや深層ネットワーク（例：29層ネットワーク）と比較して、どのように性能を発揮するか？
• RQ3 外部のデータセットからのkNNメモリを用いた半教師あり学習およびトランスファー学習の設定において、kNN拡張モデルはどの程度恩恵を受けるか？
• RQ4 kNN近傍に対する注目メカニズムが、統計的バイアスによって引き起こされる誤分類を是正する関連する訓練インスタンスを効果的に抽出できるか？

主な発見

• 提案モデルは、AG’s News、DBPedia、20 Newsgroupsを含む、テストしたすべての標準ベンチマークデータセットでBiLSTMベースラインを上回った。
• いくつかのデータセットでは、kNN拡張モデルが非常に深い29層のニューラルネットワークをも凌駆した。これは、深さそのものよりもインスタンスレベルのメモリの価値が顕著に示された。
• データが少ない状況でも優れた性能を示し、訓練インスタンスが限られた状況でも高い精度を維持した。
• 不均衡なデータセットでも顕著な向上を示し、支配的クラスバイアスによって引き起こされる誤分類を是正した。
• 半教師あり学習の設定では、DBPediaデータセットのkNNを外部メモリとして用いることで、BiLSTMベースラインを上回る性能を達成した。
• トランスファー学習の設定でも、異なるタスク（DBPedia）のkNN（異なるラベル定義を有する）を活用することで、AG’s Newsでの性能が向上した。これは、モデルのロバスト性と一般化能力を示している。