[論文レビュー] Vector representations of text data in deep learning

Karol Grzegorczyk|arXiv (Cornell University)|Jan 7, 2019

Topic Modeling参考文献 120被引用数 11

ひとこと要約

本稿では、テキストのベクトル表現のための2つの新しい深層学習モデルを紹介する：情報検索および転移学習において既存手法を上回る性能を示すバイナリドキュメント埋め込みを学習するバイナリパラグラフベクトル、および単語の意味の多義性を捉えた多義的単語埋め込みを学習するディスマビギュエーテッドスリップグラム。両モデルとも微分可能であり、特徴量の手作業設計を必要とせず、生テキストからのエンドツーエンド学習が可能である。

ABSTRACT

In this dissertation we report results of our research on dense distributed representations of text data. We propose two novel neural models for learning such representations. The first model learns representations at the document level, while the second model learns word-level representations. For document-level representations we propose Binary Paragraph Vector: a neural network models for learning binary representations of text documents, which can be used for fast document retrieval. We provide a thorough evaluation of these models and demonstrate that they outperform the seminal method in the field in the information retrieval task. We also report strong results in transfer learning settings, where our models are trained on a generic text corpus and then used to infer codes for documents from a domain-specific dataset. In contrast to previously proposed approaches, Binary Paragraph Vector models learn embeddings directly from raw text data. For word-level representations we propose Disambiguated Skip-gram: a neural network model for learning multi-sense word embeddings. Representations learned by this model can be used in downstream tasks, like part-of-speech tagging or identification of semantic relations. In the word sense induction task Disambiguated Skip-gram outperforms state-of-the-art models on three out of four benchmarks datasets. Our model has an elegant probabilistic interpretation. Furthermore, unlike previous models of this kind, it is differentiable with respect to all its parameters and can be trained with backpropagation. In addition to quantitative results, we present qualitative evaluation of Disambiguated Skip-gram, including two-dimensional visualisations of selected word-sense embeddings.

研究の動機と目的

• 生テキストから直接バイナリドキュメント表現を学習する微分可能なニューラルモデルを開発し、間接的なハッシュ化手法への依存を回避すること。
• 各単語の意味的変動を捉え、単語の意味の誘導タスクにおける性能を向上させる多義的単語埋め込みモデルを構築すること。
• 標準ベンチマークデータセットを用いて、検索および転移学習の設定において、提案モデルの評価を行うこと。
• 多義的埋め込みの確率的解釈を提供し、期待される単語の意味数を制御する正則化機構を導入すること。
• 学習済み埋め込みが著者プロファイリングや意味的類似性といった下流タスクにおいて、競争力のある精度で有効であることを示すこと。

提案手法

• バイナリパラグラフベクトルは、生テキストから直接バイナリドキュメントコードを学習するための深層ニューラルネットワークを用い、微分可能なバイナリゼーション関数によりエンドツーエンド学習が可能である。
• モデルは分散型のn-gramの袋（bag-of-n-grams）入力表現を採用し、バイナリ空間における意味的類似性を維持するためのコントラスト型損失を用いる。
• ディスマビギュエーテッドスリップグラムは、各単語を複数の意味固有のベクトルの混合としてモデル化し、意味ごとの確率的ソフトマックスと微分可能なゲーティング機構を備える。
• 各単語あたりの有効な意味数を制御するためにエントロピー正則化項を導入し、低確率の意味を削除するためのプルーニング戦略を採用する。
• 両モデルとも、20 Newsgroups、RCV1、英語Wikipediaなどの大規模テキストコーパスを用いて、確率的勾配降下法によるバックプロパゲーションで訓練される。
• リアルバイナリパラグラフベクトルの変種は、効率的かつ正確な検索を実現するため、バイナリコードと高次元の実数値表現を同時に学習する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なニューラルネットワークは、間接的なハッシュ化手法に頼らず、生テキストから効果的なバイナリドキュメント表現を直接学習できるか？
• RQ2 バックプロパゲーションで訓練された多義的単語埋め込みは、最先端のモデルと比較して、単語の意味の誘導タスクでどの程度の性能を示すか？
• RQ3 事前学習された汎用コーパスとドメイン特化データでの微調整を経て、提案モデルは転移学習タスクに一般化できるか？
• RQ4 正則化とプルーニングの影響は、学習された意味数とモデル性能にどのような影響を与えるか？
• RQ5 学習済み埋め込みは、著者プロファイリングや意味的類似性といった下流タスクにおいて、競争力のある精度で有効に使えるか？

主な発見

• バイナリパラグラフベクトルは、20 Newsgroups、RCV1、英語Wikipediaの情報検索タスクにおいて、初期の手法を上回り、MAPとNDCG@10スコアがともに高い結果を達成した。
• 20 Newsgroupsデータセットでは、32ビットのバイナリPVモデルがMAP 0.58、NDCG@10 0.78を達成し、TF-IDFおよびbag-of-wordsベースラインを顕著に上回った。
• ディスマビギュエーテッドスリップグラムは、4つの単語の意味の誘導ベンチマークのうち3つで最先端の性能を達成し、一部のデータセットでは調整済みランダムインデックススコアが0.7を超えた。
• SCWSデータセットではスピアマンの順位相関係数が82.1、WordSim353では85.3を記録し、既存の多義的モデルを上回った。
• 転移学習の設定では、Wikipediaで事前学習したモデルがドメイン特化データセットでMAP 0.41を達成し、優れた一般化性能を示した。
• ブログ投稿の埋め込みのt-SNE可視化では、年齢層ごとの意味のあるクラスタリングが観察され、特に若年層（ティーンエイジャー）が明確に分離していたが、性別による違いはやや弱かった。