[論文レビュー] On the Role of Text Preprocessing in Neural Network Architectures: An Evaluation Study on Text Categorization and Sentiment Analysis

José Camacho-Collados, Mohammad Taher Pilehvar|arXiv (Cornell University)|Jul 6, 2017

Topic Modeling被引用数 8

ひとこと要約

本研究では、テキスト分類のための畳み込みニューラルネットワーク（CNN）を用いたニューラルテキスト分類において、一般的なテキスト前処理手法—トークン化、小文字化、語彙還元、多語彙語群の統合—の影響を評価する。結果として、単純なトークン化がより複雑な前処理を上回ることが多く、多語彙語対応の単語埋め込みは、ベーシックなトークン化入力に対しても顕著な性能向上をもたらすことが示された。これは、前処理の一貫性の重要性と、事前学習された埋め込みにおける多語彙語の学習がしばしば見過ごされていることの重要性を強調している。

ABSTRACT

Text preprocessing is often the first step in the pipeline of a Natural Language Processing (NLP) system, with potential impact in its final performance. Despite its importance, text preprocessing has not received much attention in the deep learning literature. In this paper we investigate the impact of simple text preprocessing decisions (particularly tokenizing, lemmatizing, lowercasing and multiword grouping) on the performance of a standard neural text classifier. We perform an extensive evaluation on standard benchmarks from text categorization and sentiment analysis. While our experiments show that a simple tokenization of input text is generally adequate, they also highlight significant degrees of variability across preprocessing techniques. This reveals the importance of paying attention to this usually-overlooked step in the pipeline, particularly when comparing different models. Finally, our evaluation provides insights into the best preprocessing practices for training word embeddings.

研究の動機と目的

• 基本的なテキスト前処理の意思決定が、標準的なニューラルテキスト分類器の性能に与える影響を調査すること。
• 入力テキスト準備における前処理の選択が、モデルの汎化性能および性能に与える影響を評価すること。
• 前処理がニューラルネットワーク内の単語埋め込みおよびその下流性能に与える影響を評価すること。
• テキスト分類タスクにおける最適な前処理実践法についての実証的指針を提供すること。
• 異なるNLPモデルを比較する際、しばしば見過ごされている前処理の一貫性の影響を浮き彫りにすること。

提案手法

• 本研究では、テキスト分類のベンチマークで標準的な性能を示す4つの前処理手法—トークン化（ベーシック）、小文字化、語彙還元、多語彙語群の統合—を評価する。
• テキスト分類およびセンチメント分析の複数のデータセットで、標準的な畳み込みニューラルネットワーク（CNN）アーキテクチャをベースライン分類器として用いる。
• 実験は2つの設定で実施する：前処理内（入力と埋め込みの両方に同じ前処理を適用）とクロス前処理（入力と埋め込みで異なる前処理を適用）である。
• 単語埋め込みは、異なる前処理バージョン（ベーシック、小文字化済み、語彙還元済み、多語彙語群統合済み）のコーパスを用いて初期化される。
• 性能は9つの多様なデータセットにおける正確度（accuracy）で測定され、有意性の検定が実施され、意味のある差を特定する。
• アブレーションスタディを実施し、前処理のバリエーションと事前学習済み埋め込みとの相互作用を比較分析する。

実験結果

リサーチクエスチョン

• RQ1 例えば小文字化、語彙還元、多語彙語群の統合といった異なるテキスト前処理手法は、標準的なCNNベースのテキスト分類器の性能にどのように影響するか？
• RQ2 単語埋め込みの学習コーパスの前処理が、ニューラルテキスト分類器の最終的な性能に影響を与えるか？
• RQ3 ニューラルテキスト分類において、複雑な前処理手法が単純なトークン化を上回る一貫した利点を示すか？
• RQ4 クロス前処理設定において、埋め込みの前処理選択と入力の前処理選択の間にはどのような相互作用があるか？
• RQ5 ニューラルテキスト分類の文脈において、単語埋め込みの学習に最適な前処理実践法は何か？

主な発見

• 単純なトークン化（ベーシック）は、ほとんどのデータセットにおいて語彙還元や小文字化といったより複雑な前処理手法と同等またはそれ以上の性能を示す。
• 単語埋め込みの学習コーパスに対して多語彙語群の統合を施した前処理は、特にベーシック・トークン化入力に適用した場合に優れた性能を発揮し、単一のCNNモデルで9つのデータセットのうち7つで最高の結果を達成した。
• 語彙還元と小文字化は、埋め込みに大文字および活用形のカバー範囲が限られるため、クロス前処理設定で性能が低下する傾向を示した。
• ベーシック入力に多語彙語対応埋め込みを適用すると、多語彙語群統合入力に同じ埋め込みを適用するよりも性能が向上する。これは、学習中に多語彙語表現を明確に分離することで一般化性能が向上することを示唆している。
• 前処理選択による性能のばらつきは平均で±2.4%に達し、特に訓練データが限られた場合に前処理の影響が顕著であることが示された。
• 本研究の結果から、事前学習済みWord2Vec埋め込みの成功は、多語彙語表現の学習に起因している可能性があり、これはモデル評価においてしばしば見過ごされている要因であると示唆された。