[論文レビュー] Multimodal Joint Attribute Prediction and Value Extraction for E-commerce Product

Tiangang Zhu, Yue Wang+4 more|arXiv (Cornell University)|Sep 15, 2020

Sentiment Analysis and Opinion Mining参考文献 12被引用数 14

ひとこと要約

本稿では、テキストと画像を用いて製品属性を共同で予測し、その値を抽出するマルチモーダルモデルM-JAVEを提案する。クロスモダリティ・アテンションを活用して視覚的情報を的確に統合することで、属性と値の依存関係をモデル化し、視覚的ゲートを用いて特定の画像特徴を効果的に利用することで、新規に構築された87,194件のインスタンスを含むデータセット上で最先端の性能を達成する。

ABSTRACT

Product attribute values are essential in many e-commerce scenarios, such as customer service robots, product recommendations, and product retrieval. While in the real world, the attribute values of a product are usually incomplete and vary over time, which greatly hinders the practical applications. In this paper, we propose a multimodal method to jointly predict product attributes and extract values from textual product descriptions with the help of the product images. We argue that product attributes and values are highly correlated, e.g., it will be easier to extract the values on condition that the product attributes are given. Thus, we jointly model the attribute prediction and value extraction tasks from multiple aspects towards the interactions between attributes and values. Moreover, product images have distinct effects on our tasks for different product attributes and values. Thus, we selectively draw useful visual information from product images to enhance our model. We annotate a multimodal product attribute value dataset that contains 87,194 instances, and the experimental results on this dataset demonstrate that explicitly modeling the relationship between attributes and values facilitates our method to establish the correspondence between them, and selectively utilizing visual product information is necessary for the task. Our code and dataset will be released to the public.

研究の動機と目的

• eコマースプラットフォームにおける不完全で動的変化する製品属性値の課題に対処すること。
• 相互依存関係をモデル化することで、属性予測と値抽出の両方の性能を向上させること。
• 製品画像からの視覚的情報を的確に統合することで性能を向上させること。
• 属性-値ペアの補完をベンチマーク化するための大規模かつマルチモーダルなデータセットの構築。

提案手法

• マルチタスク学習により、属性予測（マルチラベルシーケンス分類）と値抽出（シーケンスラベル付け）を共同でモデル化する。
• グローバルゲート付きクロスモダリティ・アテンションモジュールを用い、視覚的に根拠付けられた意味的表現をテキスト表現に強化する。
• リージョナルゲート付きクロスモダリティ・アテンションモジュールを用い、値抽出に特化した視覚的特徴を的確に抽出する。
• Kullback-Leibler（KL）ダイバージェンスを用いて、予測された属性分布と値分布の不一致をペナルティ処理する。
• テキストエンコーディングにBERT、画像エンコーディングにResNetをバックボーンエンコーダーとして用いる。
• 動的制御により画像特徴がテキスト表現に与える影響を調整するための視覚的ゲート（グローバルおよびリージョナル）を導入する。

実験結果

リサーチクエスチョン

• RQ1 属性予測と値抽出を共同でモデリングすることで、独立したアプローチと比較して性能がどのように向上するか？
• RQ2 視覚的情報を的確に統合することで、属性および値予測の正確性にどのような影響を与えるか？
• RQ3 属性-値の依存関係は、属性とその値の対応学習をどのように改善するか？
• RQ4 リソースが限られた状況下で、視覚的情報はモデルの頑健性をどの程度向上させるか？
• RQ5 視覚的ゲートは、特定の属性-値ペアに該当する関連画像領域をどの程度正確に特定できるか？

主な発見

• 視覚的情報を用いることで、属性予測におけるPIドメインとQAドメインのF1スコアの差が14.58%から12.98%に縮小され、値抽出では14.31%から11.00%に低下する。
• 全データセット上での属性予測F1スコアは90.69%、値抽出F1スコアは87.17%を達成し、ベースラインのJAVEモデルを上回る性能を示す。
• 学習データの20%のみを用いても、属性予測で78.70%、値抽出で74.63%のF1スコアを維持し、リソースが限られた状況下でも強い頑健性を示す。
• 可視化により、グローバル視覚的ゲートがテキストと画像の関連性と一致していることが確認され、リージョナルゲートが意味的に関連する画像領域に焦点を当てる。
• KLダイバージェンス正則化は、属性と値の予測分布間の不一致を効果的に低減し、対応の整合性を向上させる。
• 87,194件のインスタンスを含む本稿で提案されたデータセットは、マルチモーダルな属性-値ペア補完タスクのベンチマーク化を可能にする。