[논문 리뷰] Deep Recurrent Neural Networks for Product Attribute Extraction in eCommerce

Bodhisattwa Prasad Majumder, Aditya Subramanian외 3명|arXiv (Cornell University)|2018. 03. 29.

Advanced Text Analysis Techniques참고 문헌 10인용 수 10

한 줄 요약

이 논문은 전자상거래에서 정확한 제품 속성 추출을 위해 이중 LSTM와 CRF, 주의 메커니즘을 결합한 딥 순환 신경망 아키텍처를 제안한다. 브랜드 속성 추출에서 최신 기준 F₁ 스코어 0.9599를 달성하여 이전 벤치마크보다 최소 0.0391 이상 향상되어 필터 기반 검색 및 온라인 쇼핑 경험을 크게 향상시킨다.

ABSTRACT

Extracting accurate attribute qualities from product titles is a vital component in delivering eCommerce customers with a rewarding online shopping experience via an enriched faceted search. We demonstrate the potential of Deep Recurrent Networks in this domain, primarily models such as Bidirectional LSTMs and Bidirectional LSTM-CRF with or without an attention mechanism. These have improved overall F1 scores, as compared to the previous benchmarks (More et al.) by at least 0.0391, showcasing an overall precision of 97.94%, recall of 94.12% and the F1 score of 0.9599. This has made us achieve a significant coverage of important facets or attributes of products which not only shows the efficacy of deep recurrent models over previous machine learning benchmarks but also greatly enhances the overall customer experience while shopping online.

연구 동기 및 목표

• 전자상거래에서 제품 속성 추출의 정확도와 커버리지 향상을 통해 필터 기반 검색 기능을 향상시키기.
• 수작업 특징에 의존하는 전통적인 기계학습 모델의 한계를 극복하기 위해 엔드 투 엔드 딥 러닝을 활용하기.
• 이중 LSTMs-CRF 및 주의 메커니즘의 융합이 제품 제목에서 '브랜드'와 같은 속성 추출에 어떻게 기여하는지 평가하기.
• 향상된 속성 추출이 인プレ션, 클릭, 장바구니 담기 비율과 같은 핵심 비즈니스 지표에 미치는 영향을 수량화하기.

제안 방법

• 속성 경계(B-속성, I-속성, O)를 명시하기 위해 제품 제목에 BIO 레이블링 체계를 사용한다.
• 제품 제목의 정방향 및 역방향 방향에서의 문맥적 의존성을 포착하기 위해 이중 LSTMs를 활용한다.
• 레이블 간 의존성을 모델링하고 시퀀스 레이블링 정확도를 향상시키기 위해 출력층에 조건부 랜덤 필드(CRF)를 통합한다.
• 특히 CRF 레이어가 없는 경우에 유의미한 토큰에 집중하기 위해 주의 메커니즘을 적용한다.
• 의미적 및 형태학적 정보를 포함한 입력 토큰을 표현하기 위해 학습 가능한 단어 및 문자 임베딩(각각 100D 및 25D)을 활용한다.
• 드롭아웃 비율 0.2로 확률적 경사 하강법을 사용하고 200 에포크 동안 5폴드 교차 검증을 수행하여 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 딥 순환 모델이 전통적인 기계학습 모델보다 제품 제목에서 속성을 추출하는 데 더 우수한 성능을 내는가?
• RQ2 주의 메커니즘이 이중 LSTMs-CRF 모델의 속성 추출 성능에 어떤 영향을 미치는가?
• RQ3 CRF 레이어가 주의 메커니즘과 갈등을 일으키는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ4 향상된 속성 추출이 실세계의 전자상거래 비즈니스 지표, 예를 들어 인프레션 및 전환율에 어떤 영향을 미치는가?

주요 결과

• 이중 LSTMs-CRF 모델은 F₁ 스코어 0.9599를 기록하여 이전 최고 성능 방법보다 0.0391 향상되었다.
• 정밀도는 97.94%에 도달했고, 재현율은 94.12%로 브랜드 속성의 정확한 식별 능력을 보여주었다.
• 주의 메커니즘이 이중 LSTMs-CRF 모델에서 F₁ 스코어 향상에 기여하지 않았으며, 이는 CRF 레이어와의 잠재적 功能적 중복성을 시사한다.
• 반대로, 주의 메커니즘이 CRF가 없는 이중 LSTMs 모델에서는 정밀도 향상을 이끌어내어 특정 구성에서 상호 보완적인 역할을 할 수 있음을 시사한다.
• 시스템은 배포 후 27일 동안 일일 평균 약 250,000건의 인프레션 증가를 기록하여 실세계 비즈니스 영향을 입증했다.
• 기타 속성인 '내부 메모리', '제품 라인', '제조사 부품 번호' 등에서도 각각 3.02%, 1.02%, 4.38%의 정밀도 향상이 관찰되어 상당한 성과를 거두었다.