[論文レビュー] Word and Document Embeddings based on Neural Network Approaches

Siwei Lai|arXiv (Cornell University)|Nov 18, 2016

Topic Modeling参考文献 112被引用数 7

ひとこと要約

本博士論文は、神経ネットワークに基づく単語および文書埋め込みの改善を提案し、中国語の文字・語の統合表現と、文書表現のための新しい再帰的畳み込みニューラルネットワーク（RCNN）モデルを導入する。Skip-gramとGloVeの実証的および理論的洞察を提供し、複数の自然言語処理（NLP）タスクにおける包括的な実験を通じて、効果的な単語埋め込み生成の実用的ガイドラインを提示する。主な貢献は、最適なパフォーマンスを実現するためのモデル設計、コーパス選定、ハイパーパrameterチューニングである。

ABSTRACT

Data representation is a fundamental task in machine learning. The representation of data affects the performance of the whole machine learning system. In a long history, the representation of data is done by feature engineering, and researchers aim at designing better features for specific tasks. Recently, the rapid development of deep learning and representation learning has brought new inspiration to various domains. In natural language processing, the most widely used feature representation is the Bag-of-Words model. This model has the data sparsity problem and cannot keep the word order information. Other features such as part-of-speech tagging or more complex syntax features can only fit for specific tasks in most cases. This thesis focuses on word representation and document representation. We compare the existing systems and present our new model. First, for generating word embeddings, we make comprehensive comparisons among existing word embedding models. In terms of theory, we figure out the relationship between the two most important models, i.e., Skip-gram and GloVe. In our experiments, we analyze three key points in generating word embeddings, including the model construction, the training corpus and parameter design. We evaluate word embeddings with three types of tasks, and we argue that they cover the existing use of word embeddings. Through theory and practical experiments, we present some guidelines for how to generate a good word embedding. Second, in Chinese character or word representation. We introduce the joint training of Chinese character and word. ... Third, for document representation, we analyze the existing document representation models, including recursive NNs, recurrent NNs and convolutional NNs. We point out the drawbacks of these models and present our new model, the recurrent convolutional neural networks. ...

研究の動機と目的

• 従来の特徴工学とBag-of-Wordsモデルが意味的意味や語順を捉えるのには限界があることに対処する。
• 主な単語埋め込みモデル、特にSkip-gramとGloVeの体系的比較と理論的分析を提供する。
• 低リソース環境や語形が複雑な状況でも性能を向上させるために、中国語の文字と語の表現を統合的に学習するフレームワークを開発する。
• 既存の再帰的・再帰的・畳み込みニューラルネットワークの欠点を克服する新しい文書表現モデルを設計する。
• 多様なNLPタスクにおける実証的評価を通じて、高品質な単語埋め込みを生成するための実用的ガイドラインを確立する。

提案手法

• RNNの順序モデリングとCNNの局所的特徴抽出を組み合わせた、文書レベルの表現に適した再帰的畳み込みニューラルネットワーク（RCNN）アーキテクチャを提案する。
• 中国語NLPにおける文字と語の埋め込みの共同学習を採用し、表現品質の向上と語彙的構造の捉え込みを図る。
• 単語埋め込みモデルのモデルアーキテクチャ、トレーニングコーパスのサイズと品質、ハイパーパrameter設定について、包括的なアブレーションスタディを実施する。
• 意味的類似性、類推問題の解決、テキスト分類という3つの異なる評価タスクを用いて、さまざまなNLP応用における単語埋め込みの品質を検証する。
• Skip-gramとGloVeの理論的関係を分析し、両モデルが異なる最適化戦略を用いても同様の目的関数を最適化していることを示す。
• トランスファー学習とファインチューニング技術を用いて、学習済み表現の汎化性とロバスト性を評価する。

実験結果

リサーチクエスチョン

• RQ1 Skip-gramとGloVeは理論的にどのように関係しており、その違いにどのような実用的影響があるか？
• RQ2 高品質な単語埋め込みを生成する上で、最も影響力のある要因は何か—モデルアーキテクチャ、コーパス選定、それともハイパーパrameter設定か？
• RQ3 文字と語の共同学習は、中国語テキスト処理における表現学習を改善できるか？
• RQ4 既存の文書レベルモデル（RNN、CNN、再帰的NN）は、長距離依存関係や階層的構造をどれほど効果的に捉えられるか？
• RQ5 ハイブリッドな再帰的・畳み込みアーキテクチャは、標準的なモデルよりも文書表現学習で優れた性能を示せるか？

主な発見

• 理論的分析により、Skip-gramとGloVeは共通の目的関数を最適化していることが判明したが、最適化ダイナミクスとノイズ処理の方法で異なる。
• コーパスの品質とサイズが単語埋め込みのパフォーマンスに顕著な影響を及ぼし、より大きなドメイン特化コーパスが下流タスクで優れた結果をもたらす。
• 文字と語の共同学習により、中国語NLPのパフォーマンスが向上し、語彙的構造の保持と未知語問題の低減が達成された。
• 提案されたRCNNモデルは、単独のRNN、CNN、再帰的ネットワークよりも文書分類および文類似度タスクで優れた性能を示した。
• ハイパーパrameterチューニング、特にネガティブサンプリング率と埋め込み次元数が、すべての評価タスクにおける単語埋め込み品質に顕著な影響を及ぼした。
• 本研究は、コーパス選定、モデル選択、パrameter設定を重視する、単語埋め込み構築のための一套の実用的ガイドラインを確立した。