[논문 리뷰] An End-to-End Solution for Named Entity Recognition in eCommerce Search

Xiang Cheng, Mitchell Bowden외 4명|arXiv (Cornell University)|2020. 12. 11.

Topic Modeling참고 문헌 20인용 수 5

한 줄 요약

이 논문은 명시적 개체 인식(NER)을 위한 엔드 투 엔드이고 반복적인 학습 프레임워크인 TripleLearn를 제안한다. 이는 고품질의 골든 데이터, 합성된 개체 데이터, 대규모 노이즈가 포함된 실제 세계 쿼리 데이터의 세 가지 다른 유형의 데이터를 공동으로 학습함으로써 모델 성능을 향상시킨다. 이 방법은 테스트 데이터에서 F1 스코어를 69.5에서 93.3으로 끌어올리며, homedepot.com에서의 온라인 A/B 테스트를 통해 사용자 참여도와 수익 증가를 이끌어내어 산업적 적용 가능성과 유사한 데이터 과제를 가진 다른 NLP 작업으로의 일반화 능력을 입증한다.

ABSTRACT

Named entity recognition (NER) is a critical step in modern search query understanding. In the domain of eCommerce, identifying the key entities, such as brand and product type, can help a search engine retrieve relevant products and therefore offer an engaging shopping experience. Recent research shows promising results on shared benchmark NER tasks using deep learning methods, but there are still unique challenges in the industry regarding domain knowledge, training data, and model production. This paper demonstrates an end-to-end solution to address these challenges. The core of our solution is a novel model training framework "TripleLearn" which iteratively learns from three separate training datasets, instead of one training set as is traditionally done. Using this approach, the best model lifts the F1 score from 69.5 to 93.3 on the holdout test data. In our offline experiments, TripleLearn improved the model performance compared to traditional training approaches which use a single set of training data. Moreover, in the online A/B test, we see significant improvements in user engagement and revenue conversion. The model has been live on homedepot.com for more than 9 months, boosting search conversions and revenue. Beyond our application, this TripleLearn framework, as well as the end-to-end process, is model-independent and problem-independent, so it can be generalized to more industrial applications, especially to the eCommerce industry which has similar data foundations and problems.

연구 동기 및 목표

• 학술적 NER 연구와 이커머스 검색 분야의 산업적 구현 간 격차를 해소하기 위해, 고품질 학습 데이터가 부족하고 생산에 비용이 많이 드는 문제를 해결하기 위함이다.
• 고품질 주석 데이터, 포괄적인 합성 개체 커버리지, 실제 세계의 노이즈가 섞인 쿼리 데이터 등 특성이 다른 여러 데이터 소스를 활용하여 이커머스 분야의 NER 성능을 향상시키기 위함이다.
• 제품 카탈로그의 변화에 따라 점진적으로 업데이트 가능한 확장성 있고 유지보수 용이하며, 실사용 환경에 적합한 NER 파이프라인을 개발하기 위함이다.
• 기존의 단일 데이터셋 피넷팅 방식을 뛰어넘어 반복적이고 다중 소스 학습이 모델의 일반화 능력과 실제 성능 향상에 어떻게 기여하는지 입증하기 위함이다.
• 유사한 데이터 제약 조건을 가진 다른 산업적 NLP 문제, 예를 들어 개체 인식, 기계 번역, 지식 그래프 강화 등으로 TripleLearn 프레임워크를 일반화하기 위함이다.

제안 방법

• TripleLearn는 세 가지 다른 데이터셋을 번갈아가며 학습하는 반복 학습 루프를 사용한다: 골든 데이터(수동 주석 처리된 고품질 데이터), 합성 데이터(포괄적인 엔티티 커버리지 중심), 노이즈가 섞인 데이터(대규모의 실제 세계 검색 쿼리).
• 모델은 각 반복 단계에서 세 가지 데이터셋의 조합을 사용하여 재학습되며, 성능 모니터링과 과적합 방지를 위해 골든 데이터를 검증 데이터로 사용한다.
• 합성 데이터는 제품 카탈로그와 엔티티 사전을 기반으로 프로그래밍 방식으로 생성되어, 희귀하거나 미리 보지 못한 브랜드와 제품 유형 조합까지 모두 커버한다.
• 노이즈가 섞인 데이터는 실제 검색 로그에서 유래하여 사용자 쿼리에서 흔히 볼 수 있는 자연어 변형, 철자 오류, 모호한 표현 방식을 반영한다.
• 이 프레임워크는 모델에 종속적이지 않으며, CRF, BiLSTM, 또는 트랜스포머 기반 아키텍처와 같은 어떤 지도 시퀀스 레이블링 모델에도 적용 가능하다.
• 학습 파이프라인은 점진적 업데이트를 지원한다. 신규 제품이 추가될 경우 유일하게 재학습이 필요한 것은 합성 데이터 뿐이며, 이는 효율적인 모델 유지보수를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존의 단일 데이터셋 피넷팅 방식을 뛰어넘어 반복적이고 다중 소스 학습 프레임워크가 이커머스 검색 분야의 NER 성능 향상에 기여할 수 있는가?
• RQ2 고품질 주석 데이터, 포괄적인 합성 데이터, 실제 세계의 노이즈가 섞인 쿼리 데이터를 조합했을 때 모델의 일반화 능력과 F1 스코어에 어떤 영향을 미치는가?
• RQ3 제품 카탈로그가 변화하는 실사용 환경에서 이러한 프레임워크는 실제로 유지보수되고 점진적으로 업데이트될 수 있는가?
• RQ4 TripleLearn 접근 방식은 온라인 A/B 테스트에서 실질적인 사용자 참여도 향상과 수익 증가를 이끌어낼 수 있는가?
• RQ5 TripleLearn 프레임워크는 산업 현장에서 유사한 데이터 과제를 가진 다른 NLP 작업으로 얼마나 잘 일반화될 수 있는가?

주요 결과

• TripleLearn 프레임워크는 보류된 테스트 세트에서 F1 스코어를 69.5에서 93.3으로 끌어올려 기존의 단일 데이터셋 학습 방식보다 뚜렷한 성능 향상을 보였다.
• homedepot.com에서의 온라인 A/B 테스트에서 TripleLearn 기반 모델은 사용자 참여도와 수익 전환율 향상을 실질적으로 증가시켜 실제 비즈니스 영향을 입증했다.
• 모델은 9개월 이상 실사용 환경에 배포되어 고-traffik의 실제 이커머스 환경에서 안정적인 성능과 확장성을 입증했다.
• 프레임워크는 효율적인 모델 유지보수를 가능하게 하며, 신규 제품이 추가될 경우 오직 합성 데이터만 재학습하면 되어 운영 오버헤드를 줄였다.
• 이 접근 방식은 NER를 넘어서도 잘 일반화되며, 기계 번역, 지식 그래프 강화 등과 같은 산업적 NLP 작업에 잠재적인 응용 가능성이 있다.
• 반복적이고 다중 감독 전략은 인간의 학습 방식을 모방한다: 교과서(골든 데이터), 사전(합성 데이터), 실제 세계의 입력(노이즈가 섞인 데이터)을 활용하며, 실제로 효과적임을 입증했다.