[논문 리뷰] Product Title Generation for Conversational Systems using BERT

Mansi Ranjit Mane, Shashank Kedia외 3명|arXiv (Cornell University)|2020. 07. 23.

Topic Modeling참고 문헌 20인용 수 6

한 줄 요약

이 논문은 음성 기반 전자상거래 시스템을 위한 음성에 적합한 자연스러운 말하기 스타일의 제품 제목을 생성하기 위해, 짧고 디스플레이 최적화된 웹 제목에서 BERT 기반 개괄적 일련의 시퀀스-투-시퀀스 모델을 제안한다. 레이블이 제한된 데이터에도 불구하고, BERT 모델은 자동 평가 지표(ROUGE)와 인간 평가 모두에서 기준 모델인 seq2seq 및 Ptr-Net 모델을 능가하여 더 유창하고 반복적이지 않으며 사실에 기반한 제목을 생성하며 브랜드 및 수량 정보를 효과적으로 유지한다.

ABSTRACT

Through recent advancements in speech technology and introduction of smart devices, such as Amazon Alexa and Google Home, increasing number of users are interacting with applications through voice. E-commerce companies typically display short product titles on their webpages, either human-curated or algorithmically generated, when brevity is required, but these titles are dissimilar from natural spoken language. For example, "Lucky Charms Gluten Free Break-fast Cereal, 20.5 oz a box Lucky Charms Gluten Free" is acceptable to display on a webpage, but "a 20.5 ounce box of lucky charms gluten free cereal" is easier to comprehend over a conversational system. As compared to display devices, where images and detailed product information can be presented to users, short titles for products are necessary when interfacing with voice assistants. We propose a sequence-to-sequence approach using BERT to generate short, natural, spoken language titles from input web titles. Our extensive experiments on a real-world industry dataset and human evaluation of model outputs, demonstrate that BERT summarization outperforms comparable baseline models.

연구 동기 및 목표

• 짧고 비대화적인 웹 제품 제목을 음성 보조기기용으로 적합한 문법적으로 올바르고 자연스러운 말하기 스타일의 제목으로 변환하는 데 도전하는 것.
• 대규모이고 동적인 전자상거래 카탈로그 전반에서 개인화된 말하기 스타일의 제품 제목을 생성하기 위한 저자원, 확장 가능한 솔루션을 개발하는 것.
• 특히 데이터 부족 상황에서 BERT와 같은 사전 훈련된 언어 모델이 전자상거래 분야의 개괄적 요약에 얼마나 효과적인지 평가하는 것.
• 유저 경험을 향상시키기 위해 대화 흐름에 자연스럽게 통합될 수 있는 제목을 생성함으로써 음성 기반 쇼핑 환경을 개선하는 것.

제안 방법

• 제품 웹 제목을 말하기 스타일의 제목으로 요약하기 위해 BERT 기반 일련의 시퀀스-투-시퀀스 모델을 미세조정하는 것.
• 자기회귀적 생성 방식의 디코더를 사용하여 입력 제목으로부터 자연스럽고 문법적으로 올바른 제목을 생성하는 것.
• 입력과 출력 간의 의미적 및 구조적 관계를 유지하기 위해 어텐션 메커니즘과 위치 인코딩을 적용하는 것.
• 대규모 텍스트에서 사전 훈련된 BERT의 특성을 활용하여 일반화 능력을 향상시키며, 특히 OOV(Out-of-Vocabulary) 및 드문 제품 용어에 대해 유리한 성능을 내는 것.
• 반복을 줄이고 출력 길이를 제어하기 위해 커버리지 손실과 소프트 길이 제약 조건을 도입하는 것.
• 제한된 인간 레이블이 부여된 실제 전자상거래 데이터셋을 기반으로 훈련 및 평가를 수행하는 것.

실험 결과

연구 질문

• RQ1 BERT 기반의 개괄적 모델은 짧고 웹 최적화된 제목에서 자연스럽고 말하기 스타일의 제품 제목을 효과적으로 생성할 수 있는가?
• RQ2 유창성, 사실 일치성, 반복 정도 측면에서 BERT 기반 요약은 기존의 seq2seq 및 Ptr-Net 모델보다 어떻게 비교되는가?
• RQ3 저자원 환경에서 BERT는 OOV 단어 및 드문 제품 속성에 대해 얼마나 일반화할 수 있는가?
• RQ4 생성된 제목에서 브랜드, 수량, 제품 유형과 같은 핵심 사실적 속성을 모델이 얼마나 잘 유지하는가?
• RQ5 인간 평가자들은 BERT로 생성된 제목의 품질과 자연스러움을 기준 모델 대비 어떻게 평가하는가?

주요 결과

• 모든 모델 중에서 BERT 기반 모델이 평균 반복 단어 수가 가장 적은 0.17262를 기록하여 트랜스포머 모델(0.18795) 대비 반복을 크게 줄였다.
• 인간 평가에서 ROUGE 점수는 약간 떨어지더라도 BERT 모델은 트랜스포머 기반 모델보다 종합적 품질에서 더 높은 평가를 받았다.
• ROUGE-1, ROUGE-2, ROUGE-L 지표에서 BERT 모델은 모든 기준 모델을 능가하여 종합 요약 품질이 뛰어나다는 것을 보여주었다.
• 대부분의 경우, 브랜드명(예: 'Great Value', 'Lucky Charms')과 정확한 측정 단위(예: '20.5 ounce box', '6 count')와 같은 핵심 속성을 성공적으로 유지하였다.
• 일부 사례에서는 BERT 모델이 지식 기반 데이터셋에 포함된 잘못되거나 일관성 없는 수량을 수정하여 사실 일치성 향상과 견고함을 입증하였다.
• 커버리지 손실을 적용한 Ptr-Net 모델은 표준 Ptr-Net 모델 대비 성능이 열 劣하였으며, 이는 커버리지 손실이 이 맥락에서 단어 다양성과 유창성에 악영향을 미쳤을 가능성을 시사한다.