[논문 리뷰] MAVE: A Product Dataset for Multi-source Attribute Value Extraction

Li Yang, Qifan Wang외 6명|arXiv (Cornell University)|2021. 12. 16.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

MAVE는 220만 개의 제품과 300만 개의 속성-값(annotation)을 포함한 대규모 다중 소스 제품 데이터셋으로, 전자상거래 분야에서 속성 값 추출 기술을 발전시키기 위해 설계되었습니다. 이 데이터셋은 제로샷 및 패기샷 학습에서 최신 기술 수준의 성능을 달성하며, 새로운 모델(MAVEQA)이 긴 복잡한 제품 프로필에서 기존 모델들을 능가하고, 예상치 못한 속성에 대해서도 뛰어난 일반화 성능을 보입니다.

ABSTRACT

Attribute value extraction refers to the task of identifying values of an attribute of interest from product information. Product attribute values are essential in many e-commerce scenarios, such as customer service robots, product ranking, retrieval and recommendations. While in the real world, the attribute values of a product are usually incomplete and vary over time, which greatly hinders the practical applications. In this paper, we introduce MAVE, a new dataset to better facilitate research on product attribute value extraction. MAVE is composed of a curated set of 2.2 million products from Amazon pages, with 3 million attribute-value annotations across 1257 unique categories. MAVE has four main and unique advantages: First, MAVE is the largest product attribute value extraction dataset by the number of attribute-value examples. Second, MAVE includes multi-source representations from the product, which captures the full product information with high attribute coverage. Third, MAVE represents a more diverse set of attributes and values relative to what previous datasets cover. Lastly, MAVE provides a very challenging zero-shot test set, as we empirically illustrate in the experiments. We further propose a novel approach that effectively extracts the attribute value from the multi-source product information. We conduct extensive experiments with several baselines and show that MAVE is an effective dataset for attribute value extraction task. It is also a very challenging task on zero-shot attribute extraction. Data is available at {\it \url{https://github.com/google-research-datasets/MAVE}}.

연구 동기 및 목표

• 전자상거래 분야에서 제품 속성 값 추출을 위한 대규모, 다양한 출처, 고품질 데이터셋의 부족 문제를 해결하기 위해.
• 예상치 못한 속성에 대해 제로샷 및 패기샷 학습을 가능하게 하여 모델의 일반화 능력을 향상시키기 위해.
• 제품 제목, 설명, 사양 등 다양한 소스 정보를 포함한 맥락 풍부한 데이터셋을 제공하여 더 나은 속성 커버리지 확보를 위해.
• 누락되거나 불완전한 데이터가 있는 실제 환경 조건에서도 강건하고 확장 가능한 속성 추출 기술 연구를 지원하기 위해.
• 긴 복잡한 제품 프로필에서 속성 추출 모델 평가를 위한 벤치마크를 설정하기 위해.

제안 방법

• 정의된 속성 목록을 기반으로 아마존 리뷰 페이지에서 원시 속성 값을 추출하여 데이터셋을 구성합니다.
• 고품질의 깨끗한 속성-값 쌍을 확보하기 위해 철저한 필터링 및 후처리 작업을 수행하여 총 220만 개의 제품에 300만 개의 annotation을 확보합니다.
• 제목, 설명, 기능, 사양, 키-밸류 쌍 등의 다양한 소스에서 정보를 통합하여 다중 소스 제품 표현을 구성함으로써 맥락과 커버리지를 향상시킵니다.
• 다중 소스 입력을 동시에 모델링하고 장문의 입력 시퀀스를 효과적으로 처리할 수 있도록 새로운 시퀀스 태깅 모델인 MAVEQA를 제안합니다.
• 사전 훈련된 ETC 모델을 기반으로 MAVE 데이터셋에 대해 미세조정을 수행하며, 이 모델은 장문의 시퀀스를 최적화하기 위해 설계되었습니다.
• 일반화 능력을 평가하기 위해 제로샷 및 패기샷 평가 프로토콜을 설정하고, 시퀀스 길이 및 모델 용량에 대한 체계적 아블레이션 분석을 수행합니다.

실험 결과

연구 질문

• RQ1 대규모 다중 소스 제품 데이터셋이 제로샷 속성 값 추출 성능을 크게 향상시킬 수 있는가?
• RQ2 다중 소스 입력 표현 방식이 속성 값 추출 모델의 정확도와 강건성에 어떤 영향을 미치는가?
• RQ3 사전 훈련 예제 없이도 모델이 예상치 못한 속성에 얼마나 잘 일반화되는가?
• RQ4 입력 시퀀스 길이가 증가함에 따라 모델 성능이 어떻게 떨어지는가? 그리고 장문의 제품 프로필을 효과적으로 처리할 수 있도록 모델을 설계할 수 있는가?
• RQ5 사전 훈련된 모델 선택이 패기샷 및 제로샷 속성 추출에 어떤 영향을 미치는가?

주요 결과

• MAVE는 300만 개의 annotation을 포함한 공개된 속성 값 추출 데이터셋 중 가장 크며, 220만 개의 제품과 1257개의 카테고리에 해당합니다.
• MAVEQA 모델은 장문의 시퀀스에서 AVEQA보다 유의미하게 뛰어난 성능을 보이며, 모델의 최대 시퀀스 길이를 초월해도 정밀도와 재현율이 안정적으로 유지됩니다.
• 제로샷 속성에 대해서는 MAVEQA가 해상도(Resolution)와 세척기 수(NumberOfSinks)에서 AVEQA를 능가하지만, 둘 다 호환성(Compatibility)에서 완전히 실패하여 진정한 제로샷 도전 과제임을 입증합니다.
• 패기샷 학습의 경우 대부분의 속성에서 100개의 학습 예제로 F1 점수가 90% 이상을 기록하여 매우 뛰어난 샘플 효율성을 보입니다.
• 식품 가공기 용량(FoodProcessorCapacity)에서는 성능이 수평선을 유지하는 것으로 나타나, 평가 세트에서 정답 annotation이 누락된 잠재적인 데이터 품질 문제를 시사합니다.
• 이 데이터셋은 제품 검색, 추천, 질의 응답 등의 후행 작업을 위한 효과적인 사전 훈련을 가능하게 합니다.