[論文レビュー] Product Classification in E-Commerce using Distributional Semantics

Vivek Gupta, Harish Karnick+2 more|arXiv (Cornell University)|Jun 20, 2016

Text and Document Classification Technologies参考文献 18被引用数 11

ひとこと要約

本稿は、段階的単語ベクトル構成と、パス単位、ノード単位、深さ単位の予測を統合する二段階のアンサンブル分類器を用いた、分布的意味論に基づく文書ベクトル表現を提案する。この手法は、実世界のeコマースデータセットにおいて最先端の性能を達成し、書籍データでは45.64%のパス精度と88.86%のラベル再現率を達成し、tf-idfやベースラインモデルを著しく上回った。

ABSTRACT

Product classification is the task of automatically predicting a taxonomy path for a product in a predefined taxonomy hierarchy given a textual product description or title. For efficient product classification we require a suitable representation for a document (the textual description of a product) feature vector and efficient and fast algorithms for prediction. To address the above challenges, we propose a new distributional semantics representation for document vector formation. We also develop a new two-level ensemble approach utilizing (with respect to the taxonomy tree) a path-wise, node-wise and depth-wise classifiers for error reduction in the final product classification. Our experiments show the effectiveness of the distributional representation and the ensemble approach on data sets from a leading e-commerce platform and achieve better results on various evaluation metrics compared to earlier approaches.

研究の動機と目的

• eコマースカタログにおけるスパarsity、長尾型、階層的製品分類の課題に対処すること。
• 従来のbag-of-wordsやtf-idfを越えて、語の意味、重要性、特徴的さを捉えるより意味論的な豊かな文書表現を開発すること。
• パス単位、ノード単位、深さ単位の分類器を組み合わせた新規の二段階アンサンブルを用いて、階層的分類ツリーの予測誤差を低減すること。
• 生産用eコマースシステムに適したリアルタイムかつ低遅延の分類を可能にすること。
• 特に長尾型のカテゴリや曖昧・不正確なラベルを有する複雑な製品データにおける性能向上を図ること。

提案手法

• クラスタ頻度に基づく段階的重み付けを用いて、語の重要性と特徴的さを反映する、クラスタ頻度ベースの重み付けを施した単語埋め込みを用いた新しいコンポジショナル文書ベクトル形成手法を提案する。
• 語埋め込み空間とは別に、文書の多義的・多トピック的性質を捉えるために、高次元の別個の文書ベクトル空間を導入する。
• 二段階のアンサンブル戦略を採用する：(1) 全分類ツリーのパス予測用のパス単位分類器、(2) 個々のラベル予測用のノード単位分類器、(3) 分類ツリーの各レベルに対し、欠損ノードを示す「none」ラベルを含む深さ単位分類器。
• 特徴選択として、ANOVA F値（相互情報量）を用いて次元削減を行い、効率性を向上させる。
• 提案されたgwBoWV（段階的重み付きBag-of-Wordベクトル）表現を用いて複数の分類器を学習し、最終予測のためのアンサンブル平均化により統合する。
• 語ベクトルにk-meansクラスタリングを適用して意味的に類似した語をグループ化し、クラスタ頻度を用いて文書ベクトルの重み付き合成を行う。

実験結果

リサーチクエスチョン

• RQ1 分布的意味論に基づく文書ベクトル表現は、eコマース製品分類において、従来のtf-idfやbag-of-wordsモデルを上回る性能を発揮できるか？
• RQ2 クラスタ頻度に基づく段階的語重み付けを組み込むことで、階層的分類に適した文書表現が向上するか？
• RQ3 パス単位、ノード単位、深さ単位の分類器のアンサンブルは、階層的製品分類ツリー予測の誤差を低減できるか？
• RQ4 本手法は、長尾型、スパース、曖昧なラベルを有する実世界のeコマースデータに対してどの程度効果的か？
• RQ5 本手法は、生産環境eコマースシステムにおけるリアルタイム推論要件をどの程度満たせるか？

主な発見

• クラスタ頻度ベースの重み付けを施した提案手法gwBoWVは、100クラスタ、100次元の語ベクトルを用いた非書籍データで、83.18%のパス精度と98.42%のラベル再現率を達成した。
• 書籍データでは、アンサンブル手法（comb-2）が45.64%のパス精度、77.26%のカバレッジ精度、88.86%のラベル再現率、24.57%のラベルカバレッジを達成し、tf-idfやベースラインモデルを著しく上回った。
• パス-1およびノード分類器のみでは、性能が低下（例：39.86%のパス精度）しており、複数の分類器タイプを統合することの価値が示された。
• 「none」ラベルを処理する深さ単位分類器は、不完全または浅い分類ツリーにおいて、特に曖昧またはスパースな書籍カテゴリで耐性を高めた。
• ANOVA F値による特徴選択により、元の21,706の特徴量が8,000に削減され、性能を損なわず効率性が向上した。
• 本手法は、書籍および非書籍データの両方で、すべての4つの評価指標（PP、CP、LR、LC）において一貫した向上を示し、耐性とスケーラビリティを裏付けた。