[論文レビュー] A Text Classification Survey: From Shallow to Deep Learning

Qian Li, Hao Peng+6 more|arXiv (Cornell University)|Aug 2, 2020

Text and Document Classification Technologies被引用数 11

ひとこと要約

本調査は、1961年から2020年までのテキスト分類手法について、包括的かつ最新のレビューを提供する。浅層的・深層的学習の両アプローチをカバーしており、テキストの種別とモデルアーキテクチャに基づく分類体系を提示し、ベンチマークデータセットと評価指標を分析し、技術的特徴、強み・弱み、今後の研究方向性についての洞察を提供する。

ABSTRACT

Text classification is the most fundamental and essential task in natural language processing. The last decade has seen a surge of research in this area due to the unprecedented success of deep learning. Numerous methods, datasets, and evaluation metrics have been proposed in the literature, raising the need for a comprehensive and updated survey. This paper fills the gap by reviewing the state of the art approaches from 1961 to 2020, focusing on models from shallow to deep learning. We create a taxonomy for text classification according to the text involved and the models used for feature extraction and classification. We then discuss each of these categories in detail, dealing with both the technical developments and benchmark datasets that support tests of predictions. A comprehensive comparison between different techniques, as well as identifying the pros and cons of various evaluation metrics are also provided in this survey. Finally, we conclude by summarizing key implications, future research directions, and the challenges facing the research area.

研究の動機と目的

• 1961年から2020年までのテキスト分類手法について、分野内の研究の複雑化と増加する量に対応した包括的かつ最新のレビューを提供すること。
• テキストの種別と特徴抽出・分類に用いられるモデルに基づいて、テキスト分類の統一された分類体系を確立すること。
• 浅層的および深層的学習アプローチにおける技術的進展、ベンチマークデータセット、評価指標を分析すること。
• 性能および適用可能性の観点から、さまざまな技術を体系的に比較し、その長所と短所を明らかにすること。
• 研究者および実務家向けに、テキスト分類分野における主な課題と今後の研究方向性を特定すること。

提案手法

• 著者らは、1961年から2020年までの60年以上にわたる文献を体系的にレビューし、テキスト分類手法に焦点を当てた。
• 入力テキストの種別と特徴抽出・分類に用いられるモデルに基づいて、テキスト分類アプローチを分類する分類体系を構築した。
• 伝統的な機械学習モデルとニューラルネットワークベースのアーキテクチャを含む、さまざまな浅層的・深層的学習モデルを評価・比較した。
• モデルの性能と再現可能性を評価するために、ベンチマークデータセットと評価指標を詳細に分析した。
• 技術的強み、限界、さまざまなテキスト分類タスクにおける適性を議論しながら、技術の比較分析を提供した。
• 研究手法には、主要な示唆事項の要約と、同定されたギャップや課題に基づく今後の研究方向性の提示を含む。

実験結果

リサーチクエスチョン

• RQ1 1961年から2020年までのテキスト分類における主な技術的進歩、特に浅層的学習から深層的学習モデルへの移行について、どのようなものがあるか？
• RQ2 短いテキスト、長いテキスト、フォーマルなテキスト、インフォーマルなテキストなど、さまざまな種別のテキストは、分類モデルの選択と性能にどのように影響を与えるか？
• RQ3 テキスト分類で最も広く使われているベンチマークデータセットと評価指標は何か？ それらはモデルの比較と再現可能性にどのように影響を与えるか？
• RQ4 浅層的学習と深層的学習アプローチの間で、テキスト分類タスクにおいて相対的に優れている点と弱い点は何か？
• RQ5 今後さらなる研究を要するテキスト分類分野における主な課題と未解決問題は何か？

主な発見

• 本調査では、従来の機械学習モデルから深層ニューラルネットワークへの明確な進化が同定され、複雑で大規模なテキスト分類タスクにおいて深層学習が優れた性能を示していることが判明した。
• 提唱された分類体系により、テキストの特性とモデルアーキテクチャに基づいて、多様なテキスト分類手法を体系的に整理・比較することが可能になった。
• 20 Newsgroups、AG News、IMDB といったベンチマークデータセットは、研究間で一貫して使用されており、性能評価の共通基準を提供している。
• 正解率、F1スコア、マクロ平均F1スコアといった評価指標が広く用いられているが、本調査では研究間での指標選定と報告に一貫性の欠如が指摘された。
• トランスフォーマーに基づく深層学習モデルは、大多数のベンチマークで従来のモデルを上回る性能を示したが、解釈可能性とデータ効率性の面で課題を抱えている。
• 本論文では、モデルの一般化能力、 adversarial な例に対するロバストネス、低リソース環境におけるより良い評価プロトコルの必要性といった、継続的な課題が同定された。