[論文レビュー] MAVE: A Product Dataset for Multi-source Attribute Value Extraction

Li Yang, Qifan Wang+6 more|arXiv (Cornell University)|Dec 16, 2021

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

MAVEは、220万件の製品と1257のカテゴリにまたがる300万件の属性-値アノテーションを有する大規模かつマルチソースの製品データセットであり、eコマース分野における属性値抽出の発展を目的としている。MAVEはゼロショットおよびフェイントショット学習における最先端の性能を実現でき、長く複雑な製品プロファイルにおいてベースラインを上回る新たなモデル（MAVEQA）を提供し、未観測の属性に対しても優れた一般化性能を示している。

ABSTRACT

Attribute value extraction refers to the task of identifying values of an attribute of interest from product information. Product attribute values are essential in many e-commerce scenarios, such as customer service robots, product ranking, retrieval and recommendations. While in the real world, the attribute values of a product are usually incomplete and vary over time, which greatly hinders the practical applications. In this paper, we introduce MAVE, a new dataset to better facilitate research on product attribute value extraction. MAVE is composed of a curated set of 2.2 million products from Amazon pages, with 3 million attribute-value annotations across 1257 unique categories. MAVE has four main and unique advantages: First, MAVE is the largest product attribute value extraction dataset by the number of attribute-value examples. Second, MAVE includes multi-source representations from the product, which captures the full product information with high attribute coverage. Third, MAVE represents a more diverse set of attributes and values relative to what previous datasets cover. Lastly, MAVE provides a very challenging zero-shot test set, as we empirically illustrate in the experiments. We further propose a novel approach that effectively extracts the attribute value from the multi-source product information. We conduct extensive experiments with several baselines and show that MAVE is an effective dataset for attribute value extraction task. It is also a very challenging task on zero-shot attribute extraction. Data is available at {\it \url{https://github.com/google-research-datasets/MAVE}}.

研究の動機と目的

• eコマース分野における製品属性値抽出のための、大規模かつ多様性に富み、高品質なデータセットが不足しているという問題に取り組むこと。
• 未観測の属性に対してゼロショットおよびフェイントショット学習を可能にすることで、モデルの一般化性能を向上させること。
• タイトル、説明、仕様など、マルチソースの製品情報（複数の情報源）を統合した文脈豊かなデータセットを提供し、より包括的な属性カバレッジを実現すること。
• 欠落または不完全なデータが生じる実世界の状況下でも、ロバストでスケーラブルな属性抽出を可能にする研究を支援すること。
• 長く複雑な製品プロファイルにおける属性抽出モデルの評価ベンチマークを確立すること。

提案手法

• データセットは、事前に定義された属性のセットを用いて、アマゾンレビューのページから生の属性値を抽出することで構築された。
• 高品質でクリーンな属性-値ペアを保証するため、厳密なフィルタリングとポストマッピング処理が実施され、220万件の製品にわたって合計300万件のアノテーションが得られた。
• タイトル、説明、特徴、仕様、およびキーバリューパairedからなるマルチソースの製品表現を集約し、文脈の明確化とカバレッジの向上を図った。
• マルチソース入力を統合して効果的に処理し、長大な入力シーケンスに対応できるように設計された、新たなシーケンスタギングモデル（MAVEQA）を提案した。
• 事前学習済みのETCモデルを用いて、MAVEデータセット上でMAVEQAをファインチューニングした。このETCモデルは長大なシーケンスに最適化されている。
• 一般化性能を評価するため、ゼロショットおよびフェイントショットの評価プロトコルを確立し、シーケンス長およびモデル容量に関する体系的なアブレーション解析を実施した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつマルチソースの製品データセットは、ゼロショット属性値抽出の性能を顕著に向上させることができるか？
• RQ2 マルチソース入力表現は、属性値抽出モデルの精度およびロバスト性にどのように影響を与えるか？
• RQ3 微調整用の例なしで、モデルが未観測の属性にどの程度一般化できるか？
• RQ4 入力シーケンス長が増加するにつれて、モデルの性能はどのように低下するか？また、長大な製品プロファイルに対処できるモデルを設計できるか？
• RQ5 事前学習モデルの選択が、フェイントショットおよびゼロショット属性抽出に与える影響は何か？

主な発見

• MAVEは、220万件の製品と1257のカテゴリにわたる300万件のアノテーションを有する、公開済みの最大の属性値抽出データセットである。
• MAVEQAモデルは、長大なシーケンスにおいてAVEQAを著しく上回り、モデルの最大シーケンス長を越えた場合でも、安定した精度と再現率を示した。
• ゼロショット属性においては、MAVEQAはResolutionおよびNumber of SinksにおいてAVEQAを上回ったが、両モデルともCompatibilityにおいて完全に失敗しており、真のゼロショットチャレンジであることが示された。
• フェイントショット学習においては、100件の訓練例でほとんどの属性のF1スコアが90％を超えた。これは、極めて高いサンプル効率を示している。
• Food Processor Capacityにおいてモデルの性能が変化しなかったことから、評価セットにおける正解アノテーションの欠落が原因で、データ品質に問題がある可能性が示唆された。
• このデータセットは、製品検索、レコメンデーション、質問応答などの下流タスクにおける有効な事前学習を可能にした。