[論文レビュー] KATE: K-Competitive Autoencoder for Text

Yu Chen, Mohammed J. Zaki|arXiv (Cornell University)|May 4, 2017

Topic Modeling参考文献 40被引用数 19

ひとこと要約

KATEは、隠れニューロン同士の競争を強制することで、テキスト表現学習を向上させるk-競争的オートエンコーダーである。ここでは、活性化する上位k個のニューロンのみが選択され、非活性なニューロンのエネルギーが再分配される。KATEは、文書分類、回帰、リtrievalの分野で最先端の性能を達成し、複数のベンチマークでオートエンコーダー、確率的トピックモデル、ワード埋め込み手法を上回っている。

ABSTRACT

Autoencoders have been successful in learning meaningful representations from image datasets. However, their performance on text datasets has not been widely studied. Traditional autoencoders tend to learn possibly trivial representations of text documents due to their confounding properties such as high-dimensionality, sparsity and power-law word distributions. In this paper, we propose a novel k-competitive autoencoder, called KATE, for text documents. Due to the competition between the neurons in the hidden layer, each neuron becomes specialized in recognizing specific data patterns, and overall the model can learn meaningful representations of textual data. A comprehensive set of experiments show that KATE can learn better representations than traditional autoencoders including denoising, contractive, variational, and k-sparse autoencoders. Our model also outperforms deep generative models, probabilistic topic models, and even word representation models (e.g., Word2Vec) in terms of several downstream tasks such as document classification, regression, and retrieval.

研究の動機と目的

• 高次元的でスパースかつパワー則分布を示すテキストデータから、非自明で意味のある表現を学習する伝統的オートエンコーダーの限界を解消すること。
• データのスパarsityと高次元性に起因する、標準オートエンコーダーが自明または冗長な表現を学習する傾向を是正すること。
• ニューロンが異なるデータパターンを認識するように特化する競争的学習メカニズムをオートエンコーダーに導入し、意味的表現の質を向上させること。
• 複数の下流NLPタスクにおいて、オートエンコーダー、深層生成モデル、トピックモデル、ワード埋め込み手法を含む幅広いモデルとKATEを比較して評価すること。
• 競争的学習を備えた浅い、1層の隠れ層構造が、より深いまたは複雑なモデルを上回るテキスト表現学習性能を達成できるかどうかを実証すること。

提案手法

• KATEは、隠れ層でk-競争的メカニズムを採用し、活性化値が最も高いk個のニューロンのみが「勝者」として選択される。
• 非勝者（非活性）ニューロンの総合活性化ポテンシャルが、エネルギー増幅係数αを介してk個の勝者ニューロンに再分配される。
• 非活性ニューロンからの増幅されたポテンシャルを組み込んだ修正された活性化関数を用いることで、特徴の専門性が向上する。
• エンコーダーでは、k-競争層でtanh活性化関数が使用され、これはシグモイド関数よりも実験的に優れた性能を示す。
• 過学習を軽減し一般化性能を向上させるため、正則化手法として重み縛り（W' = W^T）を採用している。
• 推論時には競争は不要である。訓練済みモデルは固定された専門化されたニューロン重みを直接用いて入力を符号化する。

実験結果

リサーチクエスチョン

• RQ1 標準オートエンコーダーよりも、k-競争的オートエンコーダーがテキストドキュメントのより意味的で整合性のある表現を学習できるか？
• RQ2 隠れ層におけるニューロンの競争が、非競争的またはスパースオートエンコーダーと比較して、学習されたドキュメント表現の質にどのように影響するか？
• RQ3 KATEは、分類やリtrievalなどの下流NLPタスクにおいて、深層生成モデル、確率的トピックモデル、ワード埋め込み手法を上回る性能を示すか？
• RQ4 k（勝者数）、トピック数（ニューロン数）、エネルギー増幅係数αといったハイパーパrameterがモデル性能に与える影響は何か？
• RQ5 競争的学習を備えた浅いオートエンコーダーが、より深いまたはより複雑なアーキテクチャを上回る性能を達成できるか？

主な発見

• KATEは、20 Newsgroupsデータセットにおける文書分類タスクで74.6％の精度を達成し、他のオートエンコーダーや競争的モデルを顕著に上回った。
• ドキュメントリtrievalタスクでは、20 Newsgroupsデータセットで71.1％の精度を記録し、VAEとDocNADEを除くすべてのモデルを上回った。
• モデルの性能は活性化関数の選択に強く依存しており、tanhを用いた場合の精度は74.4％であったのに対し、シグモイドを用いた場合は56.8％にとどまった。
• トピック数を128を超えて増加させても性能向上はわずかにとどまり、128が複雑さと性能の良いトレードオフを提供していることを示した。
• エネルギー増幅係数αは強い影響を及ぼした。αを0.0625から6.26に増加させたことで、分類精度は71.1％から74.6％に向上した。
• KATEは20 Newsgroupsデータセットで1,214秒で学習が完了し、DBN（15,281秒）やDocNADE（4,787秒）といった深層生成モデルよりも速かったが、より単純なオートエンコーダーよりは遅かった。