[논문 리뷰] Attribute Extraction from Product Titles in eCommerce

Ajinkya More|arXiv (Cornell University)|2016. 08. 15.

Natural Language Processing Techniques참고 문헌 12인용 수 20

한 줄 요약

이 논문은 조건부 확률 필드(CRF)와 구조적 퍼셉트론을 사용한 시퀀스 레이블링 접근법을 제안하며, 제품 속성 값, 특히 '브랜드'를 짧고 비구조화된 이커머스 제품 제목에서 추출하기 위해 정제된 정규화 체계를 도입한다. 이 방법은 정규화 후 정밀도가 92–95%에 달하며, 제품 탐색 가능성은 크게 향상되었으며, 인과적 影향 분석(CausalImpact)을 통해 추출된 브랜드 메타데이터가 추가된 제품의 경우 약 250,000건 이상의 추가 노출가 관찰되었다.

ABSTRACT

This paper presents a named entity extraction system for detecting attributes in product titles of eCommerce retailers like Walmart. The absence of syntactic structure in such short pieces of text makes extracting attribute values a challenging problem. We find that combining sequence labeling algorithms such as Conditional Random Fields and Structured Perceptron with a curated normalization scheme produces an effective system for the task of extracting product attribute values from titles. To keep the discussion concrete, we will illustrate the mechanics of the system from the point of view of a particular attribute - brand. We also discuss the importance of an attribute extraction system in the context of retail websites with large product catalogs, compare our approach to other potential approaches to this problem and end the paper with a discussion of the performance of our system for extracting attributes.

연구 동기 및 목표

• 대규모 이커머스 카탈로그에서 짧고 비구조화된 제품 제목에서 속성 값을 추출하는 문제를 해결하기 위해.
• 정확한 속성 메타데이터를 통해 필터 기반 검색을 가능하게 하여 제품 탐색 가능성을 향상시키기 위해.
• 수동 레이블링을 최소화하면서도 확장 가능하고 자원 소모가 적은 속성 추출 방법을 개발하기 위해.
• 속성 추출이 노출 수, 클릭 수, 전환율과 같은 핵심 지표에 미치는 실제 영향을 평가하기 위해.
• '브랜드' 외에도 제조사 부품 번호, 캐릭터 이름, 스포츠 팀 등 다양한 속성으로 접근법을 확장하기 위해.

제안 방법

• CRF 및 구조적 퍼셉트론 알고리즘을 사용하여 속성 추출 문제를 시퀀스 레이블링 문제로 모델링하기 위해.
• 수동 레이블링 없이 기존 제품 메타데이터에서 원천 감독(distant supervision)을 활용해 초기 학습 데이터를 생성하기 위해.
• 속성 값의 변형을 표준화하기 위해 정제된 정규화 체계를 적용하기 위해.
• 카테고리별 적용 가능성과 데이터 희소성의 차이를 고려해 각 속성에 대해 별도의 모델을 훈련하기 위해.
• CausalImpact R 패키지를 활용해 메타데이터 보강의 인과적 영향을 추정하기 위해 합성 대조군을 활용하기 위해.
• 분석가 피드백을 기반으로 정규화 사전을 반복적으로 업데이트하여 정밀도를 향상시키기 위해.

실험 결과

연구 질문

• RQ1 짧고 문법적으로 비구조화된 제품 제목에서 시퀀스 레이블링 모델이 속성 값을 효과적으로 추출할 수 있는가?
• RQ2 정제된 정규화 체계는 속성 값의 어휘적 변형을 어떻게 다루며 정밀도를 향상시키는가?
• RQ3 실제 환경에서 속성 추출이 제품 노출 수와 탐색 가능성에 어떤 영향을 미치는가?
• RQ4 원천 감독은 학습 데이터 생성 과정에서 수동 레이블링의 필요성을 얼마나 줄일 수 있는가?
• RQ5 이와 같은 파이프라인은 브랜드, 모델 번호, 캐릭터 이름 등 다양한 속성으로 일반화될 수 있는가?

주요 결과

• 브랜드 속성 추출에 대해 정규화 후 정밀도가 92–95%에 달했으며, 원시 알고리즘 출력 대비 1–3%의 정밀도 향상이 관찰되었다.
• 98% 이상의 '브랜드 미기재'로 분류된 제품이 실제 음성 결과로 확인되어 높은 특이도를 보였다.
• 기존 월마트 브랜드 데이터베이스에 존재하지 않는 1,000개 이상의 브랜드 값을 모델이 발견하였다.
• CausalImpact 분석 결과, 테스트 기간 동안 추출된 브랜드 메타데이터가 포함된 제품의 노출 수가 250,000건 이상 증가하는 것으로 예측되었다.
• 클릭 수, 장바구니 담기 비율, 주문 수량 등 다른 속성에 대해서도 유사한 긍정적 영향이 관찰되었다.
• 시스템은 20개 이상의 속성 추출에 성공적으로 도입되었으며, 카테고리별 특성에 최적화하기 위해 각 속성에 대해 별도의 모델을 훈련시켰다.