[논문 리뷰] Multi-Modal Attribute Extraction for E-Commerce

Aloïs De la Comble, Anuvabh Dutt외 2명|arXiv (Cornell University)|2022. 03. 07.

Web Data Mining and Analysis인용 수 6

한 줄 요약

이 논문은 전자상거래에서 다중모态 제품 속성 추출을 위한 새로운 모달리티-어텐션 메커니즘을 제안한다. 텍스트와 이미지 특징을 학습 가능한 어텐션 가중치로 결합하여 각 제품에 맞게 가장 정보성 있는 모달리티를 동적으로 우선순위를 정한다. 또한 모달리티 붕괴를 완화하기 위한 체계적인 정규화 기법을 도입하여 라쿠텐-일카 및 공개 벤치마크에서 최신 기술 수준의 성능을 달성했으며, 실제 서비스 환경에 성공적으로 구현했다.

ABSTRACT

To improve users' experience as they navigate the myriad of options offered by online marketplaces, it is essential to have well-organized product catalogs. One key ingredient to that is the availability of product attributes such as color or material. However, on some marketplaces such as Rakuten-Ichiba, which we focus on, attribute information is often incomplete or even missing. One promising solution to this problem is to rely on deep models pre-trained on large corpora to predict attributes from unstructured data, such as product descriptive texts and images (referred to as modalities in this paper). However, we find that achieving satisfactory performance with this approach is not straightforward but rather the result of several refinements, which we discuss in this paper. We provide a detailed description of our approach to attribute extraction, from investigating strong single-modality methods, to building a solid multimodal model combining textual and visual information. One key component of our multimodal architecture is a novel approach to seamlessly combine modalities, which is inspired by our single-modality investigations. In practice, we notice that this new modality-merging method may suffer from a modality collapse issue, i.e., it neglects one modality. Hence, we further propose a mitigation to this problem based on a principled regularization scheme. Experiments on Rakuten-Ichiba data provide empirical evidence for the benefits of our approach, which has been also successfully deployed to Rakuten-Ichiba. We also report results on publicly available datasets showing that our model is competitive compared to several recent multimodal and unimodal baselines.

연구 동기 및 목표

• 라쿠텐-일카와 같이 판매자가 주로 비정형 텍스트만 제공하는 플랫폼에서 품목 속성이 누락되거나 불완전한 문제를 해결한다.
• 단일모달 모델(텍스트 전용 및 이미지 전용)의 속성 추출 성능와 신뢰성을 조사하여 다중모달 융합 설계에 기여한다.
• 제품에 따라 텍스트 또는 이미지 모달리티의 중요도를 동적으로 할당할 수 있는 융합 전략을 개발한다.
• 모델이 한 모달리티에만 의존하는 모달리티 붕괴 문제를 체계적인 정규화 기법을 통해 방지하여 양방향 모달리티의 균형 잡힌 사용을 확보한다.
• 기존 전용 및 공개 데이터셋을 대상으로 광범위한 실험을 통해 제안된 방법의 효과성을 입증하고, 실제 서비스 환경에서의 검증도 수행한다.

제안 방법

• 제품 설명과 이미지에서 고수준 표현을 추출하기 위해 BERT를 텍스트, ResNet을 이미지에 대해 사전 학습된 딥 러닝 모델로 활용한다.
• 입력에 따라 모달리티의 유용성에 따라 가중치를 학습하는 모달리티-어텐션 메커니즘을 제안하여 동적 융합을 가능하게 한다.
• 손실 함수에 정규화 항을 도입하여 양 모달리티 간 균형 잡힌 어텐션을 유도함으로써 모델이 한 모달리티에만 의존하는 것을 방지한다.
• 어 attention 가중치를 적용한 후 모달리티별 표현을 연결하는 후기 융합 전략을 구현하고, 다중 레이블 속성 예측을 위한 분류기 헤드를 추가한다.
• 교차 엔트로피 손실과 레이블 스무oothing, 가중치 감소를 사용하여 엔드 투 엔드로 모델을 훈련하고, 도메인 특화 전자상거래 데이터로 미세조정한다.
• 지식 distillation과 아키텍처 아블레이션을 적용하여 최종 아키텍처의 견고성과 효율성을 검증한다.

실험 결과

연구 질문

• RQ1 실제 전자상거래 데이터에서 속성 추출에 있어 텍스트와 이미지 중 어느 모달리티가 더 우수한 성능을 보이며, 이는 품목 카테고리에 따라 달라지는가?
• RQ2 텍스트와 시각적 특징을 효과적으로 융합하여 단순한 초기 융합 또는 후기 융합을 넘어서 성능을 향상시킬 수 있는가?
• RQ3 다중모달 모델에서 모달리티 붕괴가 발생하는 원인은 무엇이며, 훈련 과정에서 이를 체계적으로 방지할 수 있는가?
• RQ4 학습 가능한 동적 융합 메커니즘이 실제 전자상거래 환경에서 고정된 융합 전략(예: 연결 또는 초기 융합)보다 우수한 성능을 낼 수 있는가?
• RQ5 제안된 방법은 공개 벤치마크와 기업 전용 전자상거래 데이터를 포함한 다양한 데이터셋에 대해 얼마나 일반화되는가?

주요 결과

• 라쿠텐-일카에서 정규화를 적용한 모달리티-어텐션 모델(λ=5e-4)은 색상 예측에서 마이크로-F1 60.6%, 웨이트드-F1 69.2%를 기록하여 기준 모델들을 초월했다.
• 라쿠텐-일카에서 소재 속성 예측에 대해 모델은 마이크로-F1 68.1%를 달성하여 도전적인 실세계 데이터셋에서 뛰어난 성능을 보였다.
• MM-IMDB 벤치마크에서 모델은 모달리티-어텐션(λ=0.0)을 사용해 93.5%의 정확도를 기록하여 MMBT 및 DMSRC를 포함한 대부분의 기준 모델들을 능가했다.
• UPMC FOOD-101에서 모델은 λ=0.1일 때 93.7%의 정확도를 기록하여 MMBT 및 DMSRC와 같은 복잡한 다중모달 모델과 비교해도 성능이 유사하거나 뛰어났다.
• 인간 평가를 통해 모델의 예측이 신뢰할 수 있고 실제 운영 환경에서 유용하다는 점이 확인되었으며, 이에 따라 라쿠텐-일카에 성공적으로 도입되었다.
• 아블레이션 연구 결과, 모달리티-어텐션은 단순 연결 및 초기 융합보다 뛰어난 성능을 보였으며, 특히 모달리티 성능이 균형을 이루지 못할 경우에 더욱 두드러졌다.