[論文レビュー] N-gram-Based Low-Dimensional Representation for Document Classification

Rémi Lebret, Ronan Collobert|arXiv (Cornell University)|Dec 19, 2014

Topic Modeling被引用数 4

ひとこと要約

本稿では、n-gram の語ベクトル表現の平均を用いて低次元で意味的に豊かな文書表現を生成する、意味的コンセプトの袋（bag-of-semantic-concepts）モデルを提案する。K-means を用いてこれらの n-gram ベクトルをクラスタリングすることで、特徴量を最大 344× 減少させつつ、LSA や LDA を上回り、感情分類タスクにおいて BOW の性能を大きく少ない特徴量で達成する。

ABSTRACT

The bag-of-words (BOW) model is the common approach for classifying documents, where words are used as feature for training a classifier. This generally involves a huge number of features. Some techniques, such as Latent Semantic Analysis (LSA) or Latent Dirichlet Allocation (LDA), have been designed to summarize documents in a lower dimension with the least semantic information loss. Some semantic information is nevertheless always lost, since only words are considered. Instead, we aim at using information coming from n-grams to overcome this limitation, while remaining in a low-dimension space. Many approaches, such as the Skip-gram model, provide good word vector representations very quickly. We propose to average these representations to obtain representations of n-grams. All n-grams are thus embedded in a same semantic space. A K-means clustering can then group them into semantic concepts. The number of features is therefore dramatically reduced and documents can be represented as bag of semantic concepts. We show that this model outperforms LSA and LDA on a sentiment classification task, and yields similar results than a traditional BOW-model with far less features.

研究の動機と目的

• 文書分類における従来の bag-of-words (BOW) モデルの高次元特徴空間と意味的表現力の限界を解消すること。
• LSA や LDA の限界を、n-gram の意味的情報を組み込みつつ低次元表現を維持することで克服すること。
• 未学習の n-gram に対しても対応可能な、計算効率的でスケーラブルな文書表現手法の開発。
• n-gram から導出される低次元の意味的コンセプトを用いて、感情分類の性能を向上させること。

提案手法

• 事前学習済みの単語ベクトル（例：Skip-gram）を用いて、単語を密なベクトル空間に表現する。
• 各 n-gram を構成する語ベクトルの要素ごとの平均をとることで、n-gram の表現を生成する。
• すべての n-gram ベクトルに対して K-means クラスタリングを適用し、K 個の意味的コンセプトにグループ化することで、低次元の意味的空間を形成する。
• 文書は、これらの K 個の意味的コンセプトの袋として表現され、各特徴量は特定のコンセプトクラスタに属する n-gram の存在/非存在を示す。
• 語ベクトルの構成的性質を活用し、未学習の n-gram に対しても、その構成語ベクトルの平均をとり、最も近いクラスタ重心に割り当てることで推論を可能にする。
• パイプライン全体が高度に並列化可能であり、標準的な CPU 硬貨で高速な計算が可能である。

実験結果

リサーチクエスチョン

• RQ1 従来の BOW、LSA、LDA モデルと比較して、n-gram を用いた表現は文書分類性能を向上させることができるか？
• RQ2 n-gram から導出される低次元の意味的コンセプトは、はるかに少ない特徴量で高次元 BOW モデルの性能を維持または上回ることができるか？
• RQ3 特にスケールが大きい場合に、n-gram を用いた意味的表現はどの程度効率的に計算できるか？
• RQ4 学習データに存在しない未学習の n-gram に対しても、モデルは一般化できるか？

主な発見

• 提案手法は、Maas et al. の感情分類データセットで 88.58% の正解率を達成し、BOW と同等の性能を約 678 倍少ない特徴量で実現した。
• IMDB データセットでは、BOW に比べて約 344 倍少ない特徴量で 88.58% の正解率を達成し、LSA や LDA を上回った。
• 1+2+3-grams と K=300 の場合、全モデルの計算時間は単一 CPU コアで約 2,360 秒（約 39 分）であり、LDA（100 トピックで 6 時間）よりも顕著に高速で、LSA（300D で 540 秒）と同等の性能を示した。
• 未学習の n-gram に対しても、語ベクトルの平均をとり、最も近いクラスタ重心に投影することで意味的コンセプトを適切に割り当て、強固な一般化を実現した。
• n-gram ベクトルの K-means クラスタリングは、意味的に整合性のある関係を捉えており、例として「not good」と「good」のような反意語的フレーズが別々のクラスタにグループ化されるなど、意味的関係を的確に表現していた。
• 本手法は、二値感情分類タスクにおいて優れた性能を示し、n-gram 水準の意味的特徴が低次元空間でも効果的に捉えられ、活用可能であることを示した。