[論文レビュー] ClassiNet -- Predicting Missing Features for Short-Text Classification

Danushka Bollegala, Vincent Atanasov+2 more|arXiv (Cornell University)|Jan 1, 2018

Topic Modeling参考文献 1被引用数 1

ひとこと要約

ClassiNet は、特徴の条件付き同時発生確率をモデル化して短いテキストにおける欠落した特徴を予測する、方向付きで重み付きの二値特徴予測子のグラフである。教師なしデータを活用して特徴予測子を学習し、グラフベースの伝搬を用いて特徴拡張を行うことで、外部リソースを一切使用せずに短いテキスト分類の精度を顕著に向上させ、Skip-thought や FastSent などの手法をベンチマークデータセットで上回った。

ABSTRACT

The fundamental problem in short-text classification is \emph{feature sparseness} -- the lack of feature overlap between a trained model and a test instance to be classified. We propose \emph{ClassiNet} -- a network of classifiers trained for predicting missing features in a given instance, to overcome the feature sparseness problem. Using a set of unlabeled training instances, we first learn binary classifiers as feature predictors for predicting whether a particular feature occurs in a given instance. Next, each feature predictor is represented as a vertex $v_i$ in the ClassiNet where a one-to-one correspondence exists between feature predictors and vertices. The weight of the directed edge $e_{ij}$ connecting a vertex $v_i$ to a vertex $v_j$ represents the conditional probability that given $v_i$ exists in an instance, $v_j$ also exists in the same instance. We show that ClassiNets generalize word co-occurrence graphs by considering implicit co-occurrences between features. We extract numerous features from the trained ClassiNet to overcome feature sparseness. In particular, for a given instance $\vec{x}$, we find similar features from ClassiNet that did not appear in $\vec{x}$, and append those features in the representation of $\vec{x}$. Moreover, we propose a method based on graph propagation to find features that are indirectly related to a given short-text. We evaluate ClassiNets on several benchmark datasets for short-text classification. Our experimental results show that by using ClassiNet, we can statistically significantly improve the accuracy in short-text classification tasks, without having to use any external resources such as thesauri for finding related features.

研究の動機と目的

• 訓練データとテストデータの間で語彙の重複が限られる短いテキスト分類における特徴の疎らさを軽減すること。
• 同義語辞書などの外部知識ソースに依存せずに、短いテキストにおける欠落したが関連性の高い特徴を予測する手法を開発すること。
• 直接的な語の同時発生を超えた、非明示的な特徴の同時発生を、教師なしデータから導出された条件付き確率を用いてモデル化すること。
• 学習済みのネットワークにおける局所的およびグローバルなグラフ伝搬を用いて特徴表現を拡張することで、分類精度を向上させること。

提案手法

• 各特徴に対して、その特徴が出現するポジティブなインスタンスと出現しないネガティブなインスタンス（いずれも教師なしデータから選択）を用いて、二値分類器（特徴予測子）を学習する。
• 各頂点が特徴予測子を表し、エッジの重みが一つの特徴が別の特徴とともに出現する条件付き確率を表す、方向付きで重み付きのグラフ（ClassiNet）を構築する。
• 近隣計算を効率的に近似するために局所性に敏感なハッシュ（locality-sensitive hashing）を用い、全ペアの交差集計行列計算を回避する。
• 二つの特徴拡張戦略を適用する：(1) すべての近隣拡張（All Neighbour Expansion）は、アクティブな特徴のすべての隣接特徴を追加する。 (2) グローバル特徴拡張は、減衰係数を用いて複数ホップにわたる伝搬により特徴を拡張する。
• グローバル伝搬における遠く離れた隣接特徴の影響を制御するための減衰係数 γ を用い、最適な性能が γ = 0.8 のときに得られた。
• 拡張された特徴を元の特徴ベクトルに統合し、分類の前に疎らな表現を豊かにする。

実験結果

リサーチクエスチョン

• RQ1 学習済みの特徴予測子ネットワークは、特徴の疎らさを軽減するために、短いテキストにおける欠落した特徴を効果的に予測できるか？
• RQ2 教師なしデータから導出された条件付き確率を用いて非明示的な同時発生をモデル化することで、明示的同時発生や単語埋め込み手法と比較して分類性能が向上するか？
• RQ3 複数ホップを経由する間接的関係を考慮するグローバル特徴拡張は、局所的拡張と比較して、精度と頑健性において優れているか？
• RQ4 ClassiNet は、同義語辞書や事前学習済み埋め込みなどの外部リソースを一切使用せずに、分類精度を向上させることができるか？

主な発見

• ClassiNet は短いテキストデータセットにおける分類精度を顕著に向上させ、グローバル特徴拡張が、局所的拡張および SCL、FTS、Skip-thought、FastSent、Paragraph2Vec などのベースライン手法をすべて上回った。
• グローバル特徴拡張における最適な減衰係数 γ = 0.8 が最高の精度を達成し、それより高いまたは低い値では性能が低下した。
• グローバル特徴拡張は特徴ベクトルのサイズを平均で 25〜30 倍に増加したが、すべての近隣拡張は 1.5〜2.5 倍にしか増加しなかったため、より広範な特徴の発見が可能であることが示された。
• ClassiNet は非常に高い接続性を示し、平均出次数は 263.35 であり、大多数の頂点が 240〜300 個の他の頂点に接続しており、密なグラフ構造を形成している。
• ClassiNet を用いた特徴拡張は、元のテキストに存在しない意味的に関連する特徴を効果的に同定した。例えば、'iPhone 6' を含むレビューに対して 'iPhone 6 plus' が提案された。
• 本手法は、外部知識や事前学習済み埋め込みを一切使用せず、複数のベンチマークデータセットで統計的に有意な精度向上を達成した。