[論文レビュー] Natural Language Processing Advancements By Deep Learning: A Survey

Amirsina Torfi, Rouzbeh A. Shirvani+3 more|arXiv (Cornell University)|Mar 2, 2020

Topic Modeling参考文献 222被引用数 197

ひとこと要約

ディープラーニングがNLPをどのように変革したかの調査。コアタスク、アーキテクチャ、表現、seq2seqモデル、RLアプローチ、データセット、ベンチマークを網羅し、課題と未解決問題を論じる。

ABSTRACT

Natural Language Processing (NLP) helps empower intelligent machines by enhancing a better understanding of the human language for linguistic-based human-computer communication. Recent developments in computational power and the advent of large amounts of linguistic data have heightened the need and demand for automating semantic analysis using data-driven approaches. The utilization of data-driven strategies is pervasive now due to the significant improvements demonstrated through the usage of deep learning methods in areas such as Computer Vision, Automatic Speech Recognition, and in particular, NLP. This survey categorizes and addresses the different aspects and applications of NLP that have benefited from deep learning. It covers core NLP tasks and applications and describes how deep learning methods and models advance these areas. We further analyze and compare different approaches and state-of-the-art models.

研究の動機と目的

• NLPにおけるDeep Learningの役割を総括し、言語タスクに対してDLが有効である理由を動機づける。
• 重要なDLアーキテクチャ（MLP、CNN、RNN/LSTM、オートエンコーダ、GANs）とそれらのNLPへの適用を要約する。
• 特徴表現、シーケンス対シーケンスモデル、評価手法など、コアNLP概念を説明する。
• DL-NLP研究で用いられるベンチマークNLPデータセットと一般的な評価指標を整理する。
• NLPタスク全体にわたる応用を論じ、分野の課題、機会、未解決問題を際立たせる。

提案手法

• NLPで用いられる深層学習アーキテクチャをレビューし、分類する（MLP、CNN、RNN/LSTM、オートエンコーダ、GANs）。
• seq2seqエンコーダ–デコーダフレームワークと、クロスエントロピー損失およびteacher forcingを用いた訓練を説明する。
• NLPへの強化学習アプローチを論じ、ポリシー勾配法、Actor–critic、Exposure biasの問題を含む。
• 特徴表現（ワンホット、CBOW/単語埋め込み、文字レベルの埋め込み）と単語/文書表現（PV/Doc2Vec、Skip-thought）を説明する。
• NLP研究で用いられるベンチマークデータセットと評価指標（ROUGE、BLEU、METEOR）を要約する。
• DLが著しい成果を上げたNLPタスクの調査を提示し、未解決問題を概説する。

実験結果

リサーチクエスチョン

• RQ1 深層学習アーキテクチャは、タグ付け、NER、SRL、MT、要約などのコアNLPタスクをどのように改善するか？
• RQ2 NLPにおけるSequence-to-Sequenceモデルの利点と限界は何か、訓練をどう改善できるか？
• RQ3 表現と埋め込みが、タスク間でのDLベースNLPの性能においてどのような役割を果たすか？
• RQ4 DL-NLPの進歩を推進する主要なベンチマークデータセットと評価指標は何か？
• RQ5 深層学習をNLPに適用する際に残る未解決の課題は何か、将来の機会はどこにあるか？

主な発見

• 深層学習はデータ駆動型の表現を可能にし、多くのNLPタスクで従来の手作業特徴量を上回ることがある。
• Seq2seqモデルは、エンコーダ–デコーダ構造を持つモデルは、MT、要約、その他のシーケンスタスクの中心であり、デコード時にはクロスエントロピー損失とビーム探索が一般的。
• 文字レベルおよびサブワードレベルの埋め込みは、語彙外問題に対処し、NLPアプリケーションの堅牢性を向上させる。
• 強化学習アプローチ（例：ポリシー勾配、Actor–critic）はExposure biasと目的関数のずれを解決するが、大きな行動空間により訓練の課題に直面する。
• 幅広いベンチマークデータセットと評価指標（例：ROUGE、BLEU、METEOR）は、DL-NLP研究とベンチマーキングの基盤となっている。
• 本調査は、データ表現、モデルアーキテクチャ、評価を含むNLPにおけるDLの継続的な課題と有望な方向性を強調している。