[論文レビュー] An empirical study on large scale text classification with skip-gram embeddings

Georgios Balikas, Massih-Réza Amini|arXiv (Cornell University)|Jun 21, 2016

Text and Document Classification Technologies参考文献 30被引用数 14

ひとこと要約

本稿では、スケールの大きなテキスト分類のためのハイブリッド手法を提案し、スキップグラム単語埋め込みと従来のtf-idfまたはワンホット符号化特徴を統合する。文書レベルの表現を導出するために単純な合成関数（平均、最大、最小）を評価し、これらの関数をtf-idf特徴と連結することで、F1スコアが最大3.5ポイント向上することを示している。特に10,000クラスに達する高基数の多クラス設定で顕著な向上が得られる。

ABSTRACT

We investigate the integration of word embeddings as classification features in the setting of large scale text classification. Such representations have been used in a plethora of tasks, however their application in classification scenarios with thousands of classes has not been extensively researched, partially due to hardware limitations. In this work, we examine efficient composition functions to obtain document-level from word-level embeddings and we subsequently investigate their combination with the traditional one-hot-encoding representations. By presenting empirical evidence on large, multi-class, multi-label classification problems, we demonstrate the efficiency and the performance benefits of this combination.

研究の動機と目的

• 数千クラスを含む大規模なテキスト分類において、スキップグラム単語埋め込みを特徴量として用いる有効性を調査すること。
• 平均、最大、最小といった単純な合成関数が、単語レベルの埋め込みを文書レベルの表現に変換する有効性を評価すること。
• 高次元で多ラベル分類タスクにおいて、分散型埋め込みと従来のワンホットまたはtf-idf表現を統合することで得られる性能向上を評価すること。
• 大ボリュームの語彙と高基数のテキスト分類問題において、深層ニューラルネットワークの学習に伴うハードウェア制約を、事前学習済み埋め込みを用いることで緩和すること。
• 埋め込みとtf-idf特徴を統合することで、複数のデータセットにわたり統計的に有意かつスケーラブルな性能向上が得られることを示すこと。

提案手法

• 文書表現の合成に、事前学習済みスキップグラム単語埋め込み（D=100, 200, 400）を入力として用いる。
• 要素ごとの演算を適用して、平均、最大、最小の3つの合成関数を用い、文書レベルの埋め込みを生成する。
• 文書表現を連結により構築する：z_conc(doc) = [z_avg(doc), z_min(doc), z_max(doc)]。
• 得られた文書レベルの埋め込みを、tf-idfまたはハッシュ符号化されたワンホット特徴と連結して、最終的な分類入力として統合する。
• 次元削減のためハッシング（70,000特徴）を用い、スケールを管理する。標準分類器（例：SVM）を融合特徴空間に適用する。
• F1スコアを用いて性能を評価し、2標本t検定（p < 0.01）を実施して、向上の統計的有意性を検証する。

実験結果

リサーチクエスチョン

• RQ1 大規模なテキスト分類において、単語レベルのスキップグラム埋め込みを文書レベルの表現に変換するための単純な合成関数（平均、最大、最小）はどの程度有効か？
• RQ2 事前学習済みスキップグラム埋め込みと従来のtf-idfまたはワンホット特徴を組み合わせることで、最大10,000クラスのデータセットにおける分類性能が向上するか？
• RQ3 ラベル空間の基数と埋め込み次元が増加するに従い、統合表現の性能はどのように変化するか？
• RQ4 複数の大規模テキスト分類ベンチマークにおいて、統合による性能向上が統計的に有意であるか？
• RQ5 特徴表現の選択（tf-idf対ハッシュ対埋め込み）が、高次元設定におけるスケーラビリティと精度に与える影響はどの程度か？

主な発見

• tf-idf特徴と連結されたスキップグラム埋め込み（D=400）を統合した手法は、PubMed 10,000データセットにおいて、tf-idf単独の結果に比べてF1スコアが3.5ポイント向上した。
• すべての評価済みデータセット、特にPubMed 10,000において、埋め込みとtf-idfを統合した結果の向上は統計的に有意（p < 0.01）であった。
• PubMed 1,000では、統合モデルの性能はtf-idf単独と同等であったが、クラス数が増加するに従い、向上が顕著に顕在した。
• tf-idfと統合された場合、最適な埋め込み次元（D）の影響は低下し、実用的にはより低い次元（D < 400）で十分であることが示唆された。
• ハッシュベースのワンホット符号化表現はtf-idfより劣ったが、依然として埋め込みとの統合により顕著な向上を示し、最大3.5 F1ポイントの向上を達成した。
• 平均、最小、最大関数による単語埋め込みの合成は計算的に効率的で、自然に並列処理が可能であり、10,000クラスの大きなデータセットへのスケーラビリティを実現した。