[論文レビュー] Attribute Extraction from Product Titles in eCommerce

Ajinkya More|arXiv (Cornell University)|Aug 15, 2016

Natural Language Processing Techniques参考文献 12被引用数 20

ひとこと要約

本論文では、条件付き確率場（CRF）と構造的パーセプトロンを用いた系列ラベリング手法と、体系的な正規化スキームを組み合わせ、短く構造のないECマーケットプレイスの商品タイトルから製品属性値（特に「ブランド」）を抽出する手法を提案する。この手法は、正規化後92–95％の精度を達成し、商品の検索可能性を著しく向上させ、因果的影響分析（CausalImpact）により、抽出されたブランドメタデータを備えた商品に対して250,000件を超える追加インプレッションが得られたことが示された。

ABSTRACT

This paper presents a named entity extraction system for detecting attributes in product titles of eCommerce retailers like Walmart. The absence of syntactic structure in such short pieces of text makes extracting attribute values a challenging problem. We find that combining sequence labeling algorithms such as Conditional Random Fields and Structured Perceptron with a curated normalization scheme produces an effective system for the task of extracting product attribute values from titles. To keep the discussion concrete, we will illustrate the mechanics of the system from the point of view of a particular attribute - brand. We also discuss the importance of an attribute extraction system in the context of retail websites with large product catalogs, compare our approach to other potential approaches to this problem and end the paper with a discussion of the performance of our system for extracting attributes.

研究の動機と目的

• 大規模なECカタログにおける短く構造のない商品タイトルから属性値を抽出する課題に対処すること。
• 正確な属性メタデータを提供することで、ファセット検索を可能にし、商品の検索可能性を向上させること。
• 手動ラベル付けを最小限に抑える低リソースでスケーラブルな属性抽出手法を開発すること。
• 属性抽出の実世界への影響を、インプレッション、クリック、コンversionsといった主要指標で評価すること。
• ブランドにとどまらず、メーカー部品番号、登場人物名、スポーツチームなど、他の属性へもこのアプローチを拡張できること。

提案手法

• CRFおよび構造的パーセプトロンアルゴリズムを用いて、属性抽出を系列ラベリング問題として定式化する。
• 手動ラベル付けを伴わずに、既存の商品メタデータから遠隔監視（distant supervision）を用いて初期トレーニングデータを生成する。
• 属性値のバリエーション（例：'Hewlett Packard' → 'HP'）を標準化するための体系的な正規化スキームを適用する。
• 分類ごとの適用性やデータスパarsityの違いを考慮し、属性ごとに個別にモデルを訓練する。
• CausalImpact Rパッケージを用いて合成コントロール群を構築し、メタデータ拡張の因果的効果を推定する。
• アナリストのフィードバックに基づき、正規化辞書を段階的に更新することで精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 短く文法的に非構造的な商品タイトルから、系列ラベリングモデルが属性値を効果的に抽出できるか？
• RQ2 体系的な正規化スキームは、属性値の表記ゆらぎをどのように改善し、精度を向上させるか？
• RQ3 属性抽出がインプレッションや検索可能性に与える実世界の影響は何か？
• RQ4 遠隔監視は、トレーニングデータ作成における手動ラベル付けの必要性をどの程度低減できるか？
• RQ5 ブランド、モデル番号、登場人物名など、多様な属性にわたって、同じパイプラインを一般化できるか？

主な発見

• ブランド属性抽出において、正規化後92–95％の精度を達成し、アルゴリズムの直接出力よりも1–3％の向上を示した。
• 「ブランドなし」と分類された98％以上の商品が真のネガティブ例であることが確認され、特異度が非常に高かった。
• 既存のWalmartブランドデータベースに存在しない1,000件を超えるブランド値が、モデルによって同定された。
• CausalImpact分析により、テスト期間中に抽出されたブランドメタデータを備えた商品で、予測で250,000件を超えるインプレッションの増加が認められた。
• 他の属性に対しても同様のポジティブな影響が観察され、クリック数、カートへの追加率、注文件数の増加が確認された。
• 本システムは20以上の属性を効果的に抽出するために本番環境にデプロイされ、分類に応じた最適化を図るべく、属性ごとに個別にモデルを訓練した。