[논문 리뷰] Identifying leading indicators of product recalls from online reviews using positive unlabeled learning and domain adaptation

Shreesh Kumara Bhat, Aron Culotta|arXiv (Cornell University)|2017. 03. 01.

Sentiment Analysis and Opinion Mining인용 수 5

한 줄 요약

이 논문은 CPSC 소비자 불만을 양성 신호로 사용하여 아마존 제품 리뷰에서 안전 위험 리뷰를 식별하기 위해 양성-무료 학습 및 도메인 적응 프레임워크를 제안한다. 이 시스템은 기준 모델 대비 F1 점수 8%p 향상과 함께, 공식 리콜보다 평균 121일 전에 45%의 리콜된 제품에서 위험 신호를 탐지하여 소비자 및 규제 당국에 조기 경고를 가능하게 한다.

ABSTRACT

Consumer protection agencies are charged with safeguarding the public from hazardous products, but the thousands of products under their jurisdiction make it challenging to identify and respond to consumer complaints quickly. From the consumer's perspective, online reviews can provide evidence of product defects, but manually sifting through hundreds of reviews is not always feasible. In this paper, we propose a system to mine Amazon.com reviews to identify products that may pose safety or health hazards. Since labeled data for this task are scarce, our approach combines positive unlabeled learning with domain adaptation to train a classifier from consumer complaints submitted to the U.S. Consumer Product Safety Commission. On a validation set of manually annotated Amazon product reviews, we find that our approach results in an absolute F1 score improvement of 8% over the best competing baseline. Furthermore, we apply the classifier to Amazon reviews of known recalled products; the classifier identifies reviews reporting safety hazards prior to the recall date for 45% of the products. This suggests that the system may be able to provide an early warning system to alert consumers to hazardous products before an official recall is announced.

연구 동기 및 목표

• 수동 주석 없이 소비자 제품 리뷰의 건강 및 안전 위험을 확장 가능하고 자동화된 방식으로 탐지하기 위한 시스템 개발.
• CPSC 불만과 아마존 리뷰 간의 데이터 부족 및 도메인 이동 문제를 해결하기 위해 양성-무료 학습과 도메인 적응을 융합.
• 공식 리콜 이전에 온라인 리뷰에서 경고 신호를 식별함으로써 제품 위험의 조기 탐지 가능.
• 소비자 보호 기관이 위험한 제품을 더 효율적으로 선별, 탐지 및 알림할 수 있도록 지원.

제안 방법

• 2,010건의 CPSC 불만(사기자제정의 정부 보고서에서 확보)을 학습을 위한 양성 인스턴스로 활용.
• 100,000건 이상의 무标注 아마존 리뷰를 양성-무료 학습 환경에서 음성/알 수 없는 인스턴스로 사용.
• CPSC 불만 언어와 아마존 리뷰 언어 간의 분포 이동을 완화하기 위해 도메인 적응 적용.
• 데이터셋 이동을 고려한 수정된 학습 알고리즘을 사용해 텍스트 분류기 학습, 도메인 간 일반화 능력 향상.
• 수동 주석 처리된 아마존 리뷰 세트와 이력 리콜 제품을 대상으로 성능 검증.
• 시계열 분석을 통해 위험 신호가 공식 리콜 일자 이전에 나타나는지 평가.

실험 결과

연구 질문

• RQ1 CPSC 불만을 기반으로 학습된 분류기가 아마존 리뷰에서 높은 정밀도와 재현율을 달성할 수 있는가?
• RQ2 학습 데이터와 테스트 데이터가 언어 스타일과 도메인에서 다를 경우, 도메인 적응이 분류기 성능 향상에 얼마나 기여하는가?
• RQ3 아마존 리뷰의 위험 신호가 공식 제품 리콜보다 상당한 기간 앞서 나타날 수 있는가?
• RQ4 키워드 기반 또는 표준 지도 학습 기반 기준 모델 대비 제안된 방법이 안전 위험 탐지에 얼마나 효과적인가?

주요 결과

• 제안된 방법은 F1 점수 84%를 달성하여 최고의 경쟁 기준 모델 대비 절대 8%p 향상.
• 리콜된 제품의 45%에서 시스템이 공식 리콜 일자 이전에 안전 위험을 보고한 리뷰를 최소 한 건 이상 탐지.
• 분류기는 평균적으로 리콜 공고 발표일 기준 121일 전에 위험 보고를 식별하여 강력한 조기 경고 잠재력을 입증.
• 키워드 기반 접근 방식은 정밀도가 낮았고(9–44%), 어휘어휘 수동 컬렉션 필요.
• 도메인 적응 기법은 CPSC 불만과 아마존 리뷰 간의 분포 이동으로 인한 성능 저하를 크게 감소시킴.
• 수동 주석 없이도 확장 가능하고 저비용으로 안전 위험을 탐지할 수 있음.