[論文レビュー] Text Data Augmentation Made Simple By Leveraging NLP Cloud APIs

Claude Coulombe|arXiv (Cornell University)|Dec 5, 2018

Natural Language Processing Techniques参考文献 7被引用数 36

ひとこと要約

この論文は、自然言語処理における「ビッグデータの壁」、特にリソースが乏しい状況において課題となる小規模言語処理の文脈で、NLP Cloud APIを活用した実用的でスケーラブルなテキストデータ拡張フレームワークを提案する。バックトランスレーション、構文木変換、語彙的置換といった技術を適用することで、わずか5倍のデータ拡張率ですら、テキスト極性分類タスクにおいてモデルの精度を4.3%から21.6%まで向上させた。

ABSTRACT

In practice, it is common to find oneself with far too little text data to train a deep neural network. This "Big Data Wall" represents a challenge for minority language communities on the Internet, organizations, laboratories and companies that compete the GAFAM (Google, Amazon, Facebook, Apple, Microsoft). While most of the research effort in text data augmentation aims on the long-term goal of finding end-to-end learning solutions, which is equivalent to "using neural networks to feed neural networks", this engineering work focuses on the use of practical, robust, scalable and easy-to-implement data augmentation pre-processing techniques similar to those that are successful in computer vision. Several text augmentation techniques have been experimented. Some existing ones have been tested for comparison purposes such as noise injection or the use of regular expressions. Others are modified or improved techniques like lexical replacement. Finally more innovative ones, such as the generation of paraphrases using back-translation or by the transformation of syntactic trees, are based on robust, scalable, and easy-to-use NLP Cloud APIs. All the text augmentation techniques studied, with an amplification factor of only 5, increased the accuracy of the results in a range of 4.3% to 21.6%, with significant statistical fluctuations, on a standardized task of text polarity prediction. Some standard deep neural network architectures were tested: the multilayer perceptron (MLP), the long short-term memory recurrent network (LSTM) and the bidirectional LSTM (biLSTM). Classical XGBoost algorithm has been tested with up to 2.5% improvements.

研究の動機と目的

• 少数言語やリソースが乏しい言語における自然言語処理の訓練データ不足という課題に対処すること。
• 低データ環境下での深層ニューラルネットワークの性能を制限する「ビッグデータの壁」を克服すること。
• 外部NLP APIを活用した実用的でスケーラブルかつ容易に実装可能なデータ拡張パイプラインの開発。
• 標準化されたテキスト分類ベンチマーク上で、さまざまなテキスト拡張技術の有効性を評価すること。
• エンドツーエンドのトレーニングを複雑にせずに、APIベースの拡張がモデル精度を顕著に向上させられることを示すこと。

提案手法

• NLP Cloud APIを活用してテキスト拡張技術を実装し、堅牢性とスケーラビリティを確保する。
• 多言語モデルを用いてバックトランスレーションを適用し、類義的表現の生成を実現する。
• 構文木変換を用いて意味的に類似しながら構造が異なる文を生成する。
• 単語埋め込みを活用して語彙的置換を実装し、語の同義語に置き換える。
• ノイズ注入と正規表現ベースの変換をベースライン比較のために統合する。
• すべての拡張技術を、トレーニングデータ全体に対して一貫した5倍の拡張率で適用する。

実験結果

リサーチクエスチョン

• RQ1 NLP Cloud APIは、リソースが乏しいNLPタスクに向けた効果的でスケーラブルかつ容易にデプロイ可能なテキストデータ拡張を可能にするか？
• RQ2 さまざまなテキスト拡張技術は、標準化されたテキスト分類タスクにおけるモデル精度向上にどのように比較されるか？
• RQ3 わずか5倍の拡張率でのデータ拡張が、低データ環境下でのディープラーニングモデルのパフォーマンス向上にどの程度寄与するか？
• RQ4 どの拡張技術の組み合わせが最も一貫性があり、顕著な精度向上をもたらすか？
• RQ5 APIベースの拡張は、ノイズ注入や正規表現ベースの変換といった従来手法を上回るか？

主な発見

• NLP Cloud APIを用いたテキスト拡張により、わずか5倍のデータ拡張率でも、テキスト極性予測タスクにおいてモデル精度が4.3%から21.6%まで向上した。
• バックトランスレーションと構文木変換の手法が特に顕著な向上を示し、高品質な類義的表現生成の有効性が裏付けられた。
• 単純な技術である語彙的置換やノイズ注入でさえも測定可能な向上を示したが、高度な手法に比べてその効果はやや小さかった。
• マルチレイヤーパーセプトロン（MLP）、LSTM、双方向LSTMのすべてのモデルが拡張によって利益を受け、特にbiLSTMが優れたパフォーマンスを示した。
• XGBoostも、拡張データで学習させることで最大2.5%の向上を示し、モデルタイプにかかわらず広範な適用可能性が示された。
• 性能向上の統計的ばらつきから、拡張の品質とタスクへの感受性に差があることが示唆されたが、全体としての向上は顕著かつ一貫していた。