[論文レビュー] Exploring Generative Models for Joint Attribute Value Extraction from Product Titles

K S Roy, Tapas R. Nayak+1 more|arXiv (Cornell University)|Aug 15, 2022

Advanced Text Analysis Techniques被引用数 4

ひとこと要約

本稿では、製品タイトルからの属性値抽出（AVE）のための新規生成的手法を提案する。本手法は、語の系列に基づくおよび位置の系列に基づく2つのパラダイムを用いて、テキスト生成としてタスクを定式化する。タスク固有のタグ付けやアーキテクチャ設計を必要とせず、T5およびBARTモデルを用いて2つのベンチマークデータセットで最先端の結果を達成した。

ABSTRACT

Attribute values of the products are an essential component in any e-commerce platform. Attribute Value Extraction (AVE) deals with extracting the attributes of a product and their values from its title or description. In this paper, we propose to tackle the AVE task using generative frameworks. We present two types of generative paradigms, namely, word sequence-based and positional sequence-based, by formulating the AVE task as a generation problem. We conduct experiments on two datasets where the generative approaches achieve the new state-of-the-art results. This shows that we can use the proposed framework for AVE tasks without additional tagging or task-specific model design.

研究の動機と目的

• 属性値抽出（AVE）における系列ラベル付け手法の限界に対処する。これらの手法はタスク固有のタグ付けを必要とし、大規模な属性セットに対してスケーリングが困難である。
• 生成モデルが事前に定義されたタグセットや属性ごとの別々のモデルに依存せずに、属性とその値を同時に抽出できるかどうかを検討する。
• エンドツーエンドのAVEに対して、語の系列ベースと位置の系列ベースの2つの新規な生成定式化の有効性を評価する。
• 生成モデルが、連合抽出および個々の属性／値予測タスクにおいて、従来のタグ付けベースの手法を上回ることを示す。
• 単一の属性値ペアと複数の属性値ペアを含む文に対する、本アプローチのロバストネスを調査する。

提案手法

• 入力の製品タイトルを属性値ペアの構造的出力系列に変換することで、AVEタスクをテキスト生成問題として定式化する。
• 語の系列ベースのパラダイムを提案する。ここで各属性値ペアは '値; 属性' の形式で生成され、'|' で区切られる。これにより、両方の成分を同時に生成できる。
• 位置の系列ベースのパラダイムを導入する。ここで各ペアは '[start_pos] [end_pos] 属性' の形式で表現され、モデルがスパンと対応する属性を生成する。
• T5、BART、WDec、PNDecのプリトレーニング済み系列変換モデルを生成バックボーンとして用い、入力タイトルからターゲット系列をデコードする。
• 生成出力とゴールスタンダードの属性値系列との差を最小化するため、交差エントロピー損失を用いてエンドツーエンドでモデルを学習する。
• 不正な出力をフィルタリングするための後処理を適用し（例：開始／終了位置の欠落、不完全な属性値ペア）、標準のF1スコアを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルは、タスク固有のタグ付けやモデル設計に依存せずに、効果的に連合属性と値の抽出を実行できるか？
• RQ2 語の系列ベースと位置の系列ベースの生成パラダイムは、異なるデータセットにおいて性能とロバストネスの面でどのように比較されるか？
• RQ3 生成アプローチは、従来の系列ラベル付けおよび質問応答ベースの手法よりもAVEタスクで優れているか？
• RQ4 単一の属性値ペアと複数の属性値ペアを含む文に対して、モデルの性能はどのように変化するか？
• RQ5 生成モデルは、学習データに注釈付けされていない属性値ペアに対しても、どの程度一般化できるか？

主な発見

• 提案された生成フレームワークは、AV-DATA-V1およびAV-MAEデータセットの両方で最先端の結果を達成した。語の系列ベースのパラダイムにおいて、T5はAV-MAEで78.36 F1を達成した。
• AV-DATA-V1データセットでは、BARTが語の系列ベースのパラダイム下で、連合属性値抽出において最高のF1スコア64.81を記録した。
• T5を用いた位置の系列ベースのパラダイムは、AV-MAEで70.16 F1を達成し、BERT-NER（複数値：85.40 F1、しかし連合抽出では低い）を上回った。
• 生成モデルは、BERT-NER や SUOT といったタグ付けベースのモデルよりも一貫して優れた性能を示し、特に複数の属性値ペアを処理する際の優位性が顕著だった。
• 語の系列ベースのパラダイムにおいて、トレーニング時に属性値ペアの順序を入れ替えた場合でも、モデルの性能はロバストであった。これは、強力な一般化能力を示している。
• 注釈済みでないが有効な属性値ペアを生成する場合があるものの、モデルは高い精度と再現率を維持しており、強力な一般化能力を示している。