[論文レビュー] Efficient Text Classification Using Tree-structured Multi-linear Principal Component Analysis

Yuanhang Su, Yuzhong Huang+1 more|arXiv (Cornell University)|Jan 20, 2018

Text and Document Classification Technologies被引用数 5

ひとこと要約

本稿では、文全体をコンパクトなベクトルに圧縮しつつ順序パターンを保持する、新しい次元削減手法であるツリー構造型多次元主成分分析（TMPCA）を提案する。TMPCAは、4つのベンチマークデータセットにおいて、PCA や GPU で加速された RNN よりもはるかに少ない計算資源で、SVM を用いたテキスト分類性能をSOTA（最先端）水準にまで向上させた。

ABSTRACT

A novel text data dimension reduction technique, called the tree-structured multi-linear principal component anal- ysis (TMPCA), is proposed in this work. Being different from traditional text dimension reduction methods that deal with the word-level representation, the TMPCA technique reduces the dimension of input sequences and sentences to simplify the following text classification tasks. It is shown mathematically and experimentally that the TMPCA tool demands much lower complexity (and, hence, less computing power) than the ordinary principal component analysis (PCA). Furthermore, it is demon- strated by experimental results that the support vector machine (SVM) method applied to the TMPCA-processed data achieves commensurable or better performance than the state-of-the-art recurrent neural network (RNN) approach.

研究の動機と目的

• 個々の単語ではなく文全体の次元を削減することで、テキスト分類における次元の呪いを軽減すること。
• 高次元テキストデータに対して、従来のPCAの計算コストを大幅に削減する代替手法を開発すること。
• 次元削減の過程で文の順序的・意味的パターンを保持することで、分類性能を向上させること。
• TMPCAで処理されたデータに対して単純なSVM分類器を適用した場合、深層学習モデル（例：RNN）と同等またはそれ以上の性能を達成できることを示すこと。
• 異なるN-gram前処理レベルおよびデータセットにおいて、TMPCAの頑健性を検証すること。

提案手法

• TMPCAは、文単位の埋め込みを階層的なツリー構造を用いて多次元PCAを適用し、局所的およびグローバルな依存関係を保持する。
• 入力文テンソルをツリー構造による分解を用いて複数のモードに分解し、効率的な次元削減を実現する。
• テンソルの低ランク近似を用いることで、データを圧縮しつつ主成分となる意味的パターンを保持する。
• 数学的に、特に高次元シーケンスに対して標準PCAよりも低い計算複雑度であることが証明されている。
• TMPCAは文全体を1つの単位として処理するため、bag-of-words や単語レベルの手法よりも、語の順序や文脈的関係をよりよく維持する。
• 圧縮されたデータは、その後、サポートベクターマシン（SVM）に供給され、コンactかつ構造的な表現を活用して分類を行う。

実験結果

リサーチクエスチョン

• RQ1 ツリー構造型多次元PCAアプローチは、計算コストを大幅に削減しつつ、従来のPCAを上回る文単位のテキスト次元削減を達成できるか？
• RQ2 TMPCAが文単位の構造を保持することで、単語レベルやbag-of-words手法よりも高い分類精度が得られるか？
• RQ3 TMPCAで処理されたデータに対して単純なSVM分類器を適用した場合、RNNのような深層学習モデルと同等またはそれ以上の性能を達成できるか？
• RQ4 N-gram前処理レベルの違いに対して、TMPCAの汎化性能および誤差率の観点でどの程度頑健であるか？
• RQ5 TMPCAとPCAやRNNとを比較した場合、次元削減の程度、学習時間、分類精度のトレードオフはどのように変化するか？

主な発見

• TMPCAは、元のサイズの約1/32〜1/64にまで次元を削減しながら、性能の著しい低下を伴わず、4つのデータセットすべてでPCA+SVMを上回った。
• TMPCA+SVMは、4つのデータセットすべてで最小の誤差率を達成した：SMS SPAMで2.33%、SSTで21.24%、SemEvalで24.09%、IMDBで24.40%。
• CPUオンliineでの計算にとどまっているにもかかわらず、GPUで学習されたRNNよりも、TMPCA+SVMの合計学習時間が著しく短く、計算効率が優れていることを示した。
• 異なるN-gram前処理レベルにおいても、TMPCAは頑健であった。最良の性能は、SMS SPAMでunigram、SSTおよびIMDBでbigram、SemEvalで4-gramで達成された。
• TMPCAで処理されたデータに対するSVMの学習時間は、元のデータに比べて著しく短縮された。これは、次元削減が過学習の緩和と学習の高速化に寄与していることを確認した。
• 数学的解析により、TMPCAは標準PCAよりも著しく低い計算複雑度であることが確認され、大規模テキストアプリケーションへのスケーラビリティが裏付けられた。