[論文レビュー] Efficient Text Classification Using Tree-structured Multi-linear Principle Component Analysis

Yuanhang Su, Yuzhong Huang+1 more|arXiv (Cornell University)|Jan 20, 2018

Natural Language Processing Techniques参考文献 3被引用数 5

ひとこと要約

本稿では、単語レベルの特徴ではなく文レベルの表現に作用する、テキスト分類のための新しい次元削減手法であるツリー構造を有する多次元主成分分析（TMPCA）を提案する。ツリー構造を有する多次元線形モデルを活用することで、従来のPCAと比較して著しく低い計算複雑性を達成しつつ、SVMベースの分類器がテキスト分類タスクにおいて最先端のRNNモデルと同等またはそれ以上の性能を発揮できる。

ABSTRACT

A novel text data dimension reduction technique, called the tree-structured multi-linear principle component anal- ysis (TMPCA), is proposed in this work. Being different from traditional text dimension reduction methods that deal with the word-level representation, the TMPCA technique reduces the dimension of input sequences and sentences to simplify the following text classification tasks. It is shown mathematically and experimentally that the TMPCA tool demands much lower complexity (and, hence, less computing power) than the ordinary principle component analysis (PCA). Furthermore, it is demon- strated by experimental results that the support vector machine (SVM) method applied to the TMPCA-processed data achieves commensurable or better performance than the state-of-the-art recurrent neural network (RNN) approach.

研究の動機と目的

• 従来のPCAにおけるテキスト分類における高い計算コストを軽減するための、より効率的な代替手法を提案すること。
• 分類効率の向上を図るため、単語レベルの特徴ではなく文レベルの表現の次元削減を行うこと。
• 計算要件を著しく削減しつつ、分類精度を維持または向上させる手法を開発すること。
• SVMをTMPCA処理済みデータに適用した場合、最先端のRNNベースのアプローチと同等またはそれ以上の性能を示すことを実証すること。

提案手法

• TMPCAは、階層的なツリー構造を用いて依存関係をモデル化することで、文レベルの表現に多次元主成分分析を適用する。
• この手法は、多次元成分によって定義される低次元部分空間へのデータの射影によって、入力系列および文の次元を低減する。
• ツリー構造により、データの階層的レベルにわたり多次元変換を分解することで、計算を効率化する。
• テンソルに基づく分解を用いて次元削減プロセスを数学的に形式化し、標準PCAと比較して計算複雑性を最小限に抑える。
• 高次元テキストデータにおける冗長性を低減しつつ、分類に有用な特徴を保持するように設計されている。
• 次元削減後、SVMのような標準分類器を用いて圧縮された表現に対して最終的なテキスト分類を実行する。

実験結果

リサーチクエスチョン

• RQ1 ツリー構造を有する多次元線形手法は、標準PCAと比較してテキストデータの次元削減をより効率的に行えるか？
• RQ2 提案されたTMPCA手法は、最先端のRNNモデルと比較して分類精度を維持または向上させられるか？
• RQ3 TMPCA処理済みデータに訓練されたSVMは、テキスト分類タスクにおいてRNNと同等またはそれ以上の性能を発揮できるか？
• RQ4 TMPCAの計算複雑性は、テキスト応用における従来のPCAと比較してどの程度か？

主な発見

• TMPCAは、標準PCAと比較して著しく低い計算複雑性を達成し、計算リソースの要請を大幅に低減する。
• TMPCA処理済みデータに適用されたSVM分類器は、最先端のRNNモデルと同等またはそれ以上の性能を発揮する。
• この手法は文レベルの表現の次元削減を効果的に実行し、後続の分類タスクを簡素化する。
• 実験結果から、TMPCAは重要な判別特徴を保持しつつ、テキストデータの効率的処理を可能にすることが確認された。