[논문 리뷰] Multimodal Joint Attribute Prediction and Value Extraction for E-commerce Product

Tiangang Zhu, Yue Wang외 4명|arXiv (Cornell University)|2020. 09. 15.

Sentiment Analysis and Opinion Mining참고 문헌 12인용 수 14

한 줄 요약

이 논문은 텍스트와 이미지를 활용하여 제품 속성과 그 값들을 동시에 예측하고 추출하는 다중모달 모델인 M-JAVE를 제안한다. 이는 교차모달 주의 메커니즘을 통해 시각적 단서를 선택적으로 통합함으로써 성능을 향상시킨다. 속성-값 간의 상호의존성을 모델링하고, 특정 이미지 특징을 활용하기 위한 시각적 게이트를 사용함으로써 최신 기술 수준의 성능을 달성하였으며, 새로운 87,194개의 인스턴스로 구성된 데이터셋에서 성능을 입증하였다.

ABSTRACT

Product attribute values are essential in many e-commerce scenarios, such as customer service robots, product recommendations, and product retrieval. While in the real world, the attribute values of a product are usually incomplete and vary over time, which greatly hinders the practical applications. In this paper, we propose a multimodal method to jointly predict product attributes and extract values from textual product descriptions with the help of the product images. We argue that product attributes and values are highly correlated, e.g., it will be easier to extract the values on condition that the product attributes are given. Thus, we jointly model the attribute prediction and value extraction tasks from multiple aspects towards the interactions between attributes and values. Moreover, product images have distinct effects on our tasks for different product attributes and values. Thus, we selectively draw useful visual information from product images to enhance our model. We annotate a multimodal product attribute value dataset that contains 87,194 instances, and the experimental results on this dataset demonstrate that explicitly modeling the relationship between attributes and values facilitates our method to establish the correspondence between them, and selectively utilizing visual product information is necessary for the task. Our code and dataset will be released to the public.

연구 동기 및 목표

• 전자상거래 플랫폼에서의 불완전하고 동적인 제품 속성 값 문제를 해결하기 위해.
• 서로 간의 상호의존성을 모델링하여 속성 예측 및 값 추출 성능을 향상시키기 위해.
• 제품 이미지에서의 선택적 시각 정보 통합을 통해 성능을 향상시키기 위해.
• 속성-값 쌍 완성 작업을 위한 대규모 다중모달 데이터셋을 구축하기 위해.

제안 방법

• 다중작업 학습을 통해 다중라벨 시퀀스 분류(속성 예측)와 시퀀스 레이블링(값 추출)을 동시에 모델링한다.
• 전역 게이트된 교차모달 주의 모듈을 사용하여 시각적으로 기반된 의미를 텍스트 표현에 강화한다.
• 지역 게이트된 교차모달 주의 모듈을 사용하여 값 추출을 위해 선택적으로 시각적 특징을 추출한다.
• 예측된 속성과 값의 분포 간 일관성 문제를 줄이기 위해 쿨백-라이블러 발산(Kullback-Leibler divergence)을 적용한다.
• 텍스트 인코딩에는 BERT, 이미지 인코딩에는 ResNet을 사용하여 기반 인코더로 활용한다.
• 동적으로 이미지 특징이 텍스트 표현에 미치는 영향을 제어하기 위해 시각적 게이트(전역 및 지역)를 도입한다.

실험 결과

연구 질문

• RQ1 속성 예측과 값 추출을 공동으로 모델링할 경우 독립적 접근 방식에 비해 성능 향상이 어떻게 이루어지는가?
• RQ2 선택적으로 시각 정보를 통합할 경우 속성 및 값 예측 정확도에 어떤 영향을 미치는가?
• RQ3 속성-값 간의 의존성이 속성과 값 간의 대응 학습을 어떻게 향상시키는가?
• RQ4 저자원 환경에서 시각 정보가 모델의 강건성에 어느 정도 기여하는가?
• RQ5 시각적 게이트는 특정 속성-값 쌍에 대해 관련 있는 이미지 영역을 얼마나 효과적으로 식별하는가?

주요 결과

• 시각 정보를 사용할 경우, 속성 예측에서 PI 및 QA 도메인 간 F1 점수 격차가 14.58%에서 12.98%로 감소하고, 값 추출에서는 14.31%에서 11.00%로 감소한다.
• 전체 데이터셋에서 M-JAVE는 속성 예측에 90.69%의 F1 점수, 값 추출에 87.17%의 F1 점수를 기록하여 기준 모델인 JAVE를 능가한다.
• 학습 데이터의 20%만으로도 M-JAVE는 속성 예측에서 78.70%의 F1 점수, 값 추출에서 74.63%의 F1 점수를 유지하여 저자원 환경에서도 뛰어난 강건성을 보였다.
• 시각화 결과 전역 시각적 게이트가 텍스트-이미지 유사도와 잘 일치하고, 지역 게이트가 의미적으로 관련 있는 이미지 영역에 집중하는 것으로 확인되었다.
• KL 발산 정규화는 속성과 값 예측 간 분포 불일치를 효과적으로 감소시켜 대응 학습의 정확도를 향상시켰다.
• 87,194개의 인스턴스로 구성된 제안된 데이터셋은 다중모달 속성-값 쌍 완성 작업의 벤치마킹을 가능하게 한다.