[論文レビュー] Which Encoding is the Best for Text Classification in Chinese, English, Japanese and Korean?

Xiang Zhang, Yann LeCun|arXiv (Cornell University)|Aug 8, 2017

Handwritten Text Recognition Techniques参考文献 4被引用数 39

ひとこと要約

本稿は、中国語、英語、日本語、韓国語の4言語において、UTF-8バイト、文字、単語、ローマ字表記、埋め込み表現の多様な符号化手法を用いて、473種類のテキスト分類モデルを包括的に比較する実証的調査を実施している。主な発見は、バイトレベルのワンホット符号化が畳み込みネットワークにおいて一貫して優れた性能を示す一方、fastTextは文字n-gramを用いることで最先端の結果を達成するが、特徴の豊富さが増すと過学習に陥りやすいことである。

ABSTRACT

This article offers an empirical study on the different ways of encoding Chinese, Japanese, Korean (CJK) and English languages for text classification. Different encoding levels are studied, including UTF-8 bytes, characters, words, romanized characters and romanized words. For all encoding levels, whenever applicable, we provide comparisons with linear models, fastText and convolutional networks. For convolutional networks, we compare between encoding mechanisms using character glyph images, one-hot (or one-of-n) encoding, and embedding. In total there are 473 models, using 14 large-scale text classification datasets in 4 languages including Chinese, English, Japanese and Korean. Some conclusions from these results include that byte-level one-hot encoding based on UTF-8 consistently produces competitive results for convolutional networks, that word-level n-grams linear models are competitive even without perfect word segmentation, and that fastText provides the best result using character-level n-gram encoding but can overfit when the features are overly rich.

研究の動機と目的

• 中国語、英語、日本語、韓国語の4言語におけるテキスト分類のための、UTF-8バイトからローマ字表記までのさまざまなテキスト符号化戦略の有効性を評価すること。
• 線形モデル、fastText、畳み込みニューラルネットワークなどの異なるモデルが、多様な符号化スキーム下でどのように性能を発揮するかを評価すること。
• 低レベルの符号化、たとえばバイトやグリフが、多言語環境下で従来の単語レベルや文字レベルの表現を上回る可能性があるかどうかを特定すること。
• 将来の統合的・多言語テキスト表現に関する研究を支援するため、14の大型データセットを用いた体系的ベンチマークを提供すること。

提案手法

• 本研究は、4言語におけるセンチメント分析およびトピック分類をカバーする、14の多様なテキスト分類データセット（数百万件のサンプルを含む）を用いた大規模なベンチマークを採用している。
• 複数の符号化レベルを評価：UTF-8バイト、文字、単語（区切りあり・なしを含む）、ローマ字表記の文字、ローマ字表記の単語。
• 各符号化に対して、多項式ロジスティック回帰、fastText、および2種類のCNNアーキテクチャ（大規模および小規模）を用い、3種類のエンコーダータイプ（ワンホット符号化、文字グリフ画像、学習済み埋め込み表現）を含むモデルを評価している。
• CNNはReLU活性化関数とマックスプーリングを用い、入力エンコーダーレイヤーを除き同じアーキテクチャを採用しており、符号化手法間での公平な比較を可能としている。
• fastTextのハイパーパramータチューニングを実施し、検証精度に基づく早期停止を用いてトレーニングを検証している。
• すべてのコードとデータセットはオープンソースライセンスのもとで公開されており、再現性およびコミュニティ利用を支援している。

実験結果

リサーチクエスチョン

• RQ1 中国語、日本語、韓国語、英語におけるテキスト分類において、UTF-8バイト、文字、単語、ローマ字表記、埋め込み表現のうち、どの符号化レベルが最も優れた性能を発揮するか？
• RQ2 線形モデル、fastText、畳み込みニューラルネットワークが、多言語テキスト分類においてさまざまな符号化レベルでどのように比較されるか？
• RQ3 畳み込みネットワークにおいて、バイトレベルのワンホット符号化が、文字レベルや単語レベルの符号化を上回るのか？
• RQ4 CJK言語において、文字n-gramのような豊富な特徴表現を用いる場合、fastTextはどの程度過学習を起こすか？
• RQ5 文字グリフやUTF-8バイトといった低レベルの符号化が、ディープラーニングモデルにおける統一的・言語に依存しないテキスト表現を可能にするか？

主な発見

• バイトレベルのワンホット符号化は、すべての言語およびモデルタイプにおいて一貫して競争力のある結果をもたらし、特に畳み込みネットワークにおいて顕著である。これは、低レベル表現が極めて効果的である可能性を示唆している。
• fastTextは中国語、日本語、韓国語において文字レベルのn-gramを用いることで最良の全体的性能を達成するが、英語では単語レベルのn-gramを用いる際に最も優れた性能を発揮する。
• CJK言語における単語レベルの符号化は、完全な区切りがなくても依然として競争力がある。これは、単語境界が従来の予想よりも重要ではない可能性を示唆している。
• fastTextは、モデル容量がCNNより低いにもかかわらず、特徴の豊富さが増すとCNNよりも過学習しやすい傾向にある。
• n-gramやTF-IDFバリエーションを用いた、文字の袋（bag-of-characters）や単語の袋（bag-of-words）特徴を備えた線形モデルは、特に優れた性能を発揮し続ける。これは、これらの手法の持続的で強い実績を示している。
• CNNに文字グリフ画像を入力として用いることは可能ではあるが、ワンホット符号化に比べて優位性に欠け、性能とシンプルさの点で劣っている。