[論文レビュー] A Comprehensive Survey on Word Representation Models: From Classical to State-Of-The-Art Word Representation Language Models

Usman Naseem, Imran Razzak+2 more|arXiv (Cornell University)|Oct 28, 2020

Topic Modeling被引用数 4

ひとこと要約

本調査では、自然言語処理における語表現モデルの包括的概要を提供しており、Bag-of-Words などの古典的手法から、Word2Vec、GloVe、FastText、およびトランスフォーマーに基づく言語モデル（例：BERT、ELMo）に至るまでの最先端の深層学習モデルをカバーしている。これらのモデルが非構造化テキストを意味的・構文的情報を捉える密度の高いベクトル表現に変換する方法を詳細に説明し、感情分析やテキスト分類などの下流タスクにおける性能向上を実現している。

ABSTRACT

Word representation has always been an important research area in the history of natural language processing (NLP). Understanding such complex text data is imperative, given that it is rich in information and can be used widely across various applications. In this survey, we explore different word representation models and its power of expression, from the classical to modern-day state-of-the-art word representation language models (LMS). We describe a variety of text representation methods, and model designs have blossomed in the context of NLP, including SOTA LMs. These models can transform large volumes of text into effective vector representations capturing the same semantic information. Further, such representations can be utilized by various machine learning (ML) algorithms for a variety of NLP related tasks. In the end, this survey briefly discusses the commonly used ML and DL based classifiers, evaluation metrics and the applications of these word embeddings in different NLP tasks.

研究の動機と目的

• 手作業による特徴抽出から深層学習に基づく表現に至るまでの語表現モデルの進化を体系的にレビューすること。
• 古典的手法（例：Bag-of-Words、TF-IDF）と現代のニューラルネットワークベースのモデル（例：Word2Vec、GloVe、FastText）の長所と短所を分析すること。
• ELMo や CoVe、およびトランスフォーマーに基づくモデル（例：BERT）などの文脈に依存する語表現を検討すること。
• 標準的な指標（正解率、適合率、再現率、F1スコア）を用いて、これらのモデルの性能を自然言語処理タスクで評価すること。
• マルチモーダル学習や対話システムにおける強化学習を統合した分野を含む、表現学習分野における今後の研究方向を特定すること。

提案手法

• 語表現技術を古典的（例：Bag-of-Words、TF-IDF）および深層学習ベースのモデル（例：Word2Vec、GloVe、FastText）に分類する。
• Word2Vec が連続的Bag-of-Wordsおよびスキップグラムアーキテクチャを用いて予測モデルを通じて語ベクトルを学習する方法を説明する。
• GloVe を、局所的およびグローバルな語の共起統計を統合するグローバル行列因子分解法として説明し、語埋め込みを学習する方法を記述する。
• FastText のサブワードモデリングアプローチを詳細に説明し、文字n-gramのベクトル表現を学習することで、未知語（OOV）の対処を改善する仕組みを解説する。
• ELMo が双方向LSTMネットワークを用いて深層的な文脈に依存する語表現を生成する方法をレビューする。
• 自己注意機構を活用し、一般またはドメイン特化のコーパス上で大規模事前学習を行うことで、双方向的な文脈を学習するトランスフォーマーに基づくモデル（例：BERT、RoBERTa）を分析する。

Figure 1. Text Classification Pipeline

実験結果

リサーチクエスチョン

• RQ1 自然言語処理における語表現モデルは、古典的特徴工学から深層学習ベースの表現学習へどのように進化してきたか？
• RQ2 静的語埋め込み（例：Word2Vec、GloVe）と文脈に依存する埋め込み（例：ELMo、BERT）の主な違いと、性能上のトレードオフは何か？
• RQ3 FastText などのサブワードレベルのモデルは、語レベルのモデルと比較して、レア語やOOV語の表現をどのように改善するか？
• RQ4 テキスト分類タスクにおける語表現モデルの性能を評価するにあたり、最も効果的な評価指標（例：正解率、F1スコア）は何か？
• RQ5 マルチモーダルおよび強化学習を統合したNLPシステムにおける表現学習分野における新たなトレンドや今後の研究方向は何か？

主な発見

• Word2Vec や GloVe、FastText などの深層学習ベースのモデルは、TF-IDF や Bag-of-Words などの古典的手法よりも、テキスト内の意味的・構文的関係を顕著に優れた性能で捉えている。
• ELMo やトランスフォーマーに基づくアーキテクチャ（例：BERT）は、動的で文脈に依存する語表現を生成することで、最先端の性能を達成している。
• FastText はサブワードコンポONENTをモデル化することで、語レベルの埋め込みに比べてレア語や未登録語の表現を改善し、OOV問題を軽減している。
• F1スコア、適合率、再現率といった評価指標が、モデル性能のベンチマークに一貫して用いられており、トランスフォーマー系モデルは感情分析やテキスト分類タスクで優れたF1スコアを示している。
• 本調査では、特にトランスフォーマーに基づくモデルにおいて、自己教師あり事前学習を通じて大規模なラベルなしデータを活用する傾向が顕著であり、NLPアプリケーション全体における一般化性能の向上に寄与していると判明した。
• 今後のNLP研究は、マルチモーダル学習や対話システムにおける強化学習の統合に注目が集まり、言語が視覚的または感覚的信号と結びついた現実世界の応用分野で顕著に進展すると予想される。

Figure 2. An illustration of one-hot encoding and BoW models