[논문 리뷰] C2-CRS: Coarse-to-Fine Contrastive Learning for Conversational Recommender System

Yuanhang Zhou, Kun Zhou외 4명|arXiv (Cornell University)|2022. 01. 04.

Recommender Systems and Techniques인용 수 10

한 줄 요약

C2-CRS는 대화 추천 시스템에서 다중 유형의 외부 데이터(예: 지식 그래프 및 사용자 리뷰)를 제한된 대화 맥락에 융합함으로써 군집에서 세분으로의 대비 학습 프레임워크를 제안한다. 다양한 데이터 모odal 간의 군집적이고 세분적인 의미 단위를 대비 학습을 통해 정렬함으로써, 모델은 추천 정확도와 응답 품질을 향상시키며, 두 개의 공개 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Conversational recommender systems (CRS) aim to recommend suitable items to users through natural language conversations. For developing effective CRSs, a major technical issue is how to accurately infer user preference from very limited conversation context. To address issue, a promising solution is to incorporate external data for enriching the context information. However, prior studies mainly focus on designing fusion models tailored for some specific type of external data, which is not general to model and utilize multi-type external data. To effectively leverage multi-type external data, we propose a novel coarse-to-fine contrastive learning framework to improve data semantic fusion for CRS. In our approach, we first extract and represent multi-grained semantic units from different data signals, and then align the associated multi-type semantic units in a coarse-to-fine way. To implement this framework, we design both coarse-grained and fine-grained procedures for modeling user preference, where the former focuses on more general, coarse-grained semantic fusion and the latter focuses on more specific, fine-grained semantic fusion. Such an approach can be extended to incorporate more kinds of external data. Extensive experiments on two public CRS datasets have demonstrated the effectiveness of our approach in both recommendation and conversation tasks.

연구 동기 및 목표

• 대화 추천 시스템(CRS)에서 제한된 대화 맥락에서 사용자 선호도를 정확히 추론하는 문제를 해결하기 위해.
• 지식 그래프 및 사용자 리뷰와 같은 이질적인 데이터 소스 간의 의미 격차를 해소하기 위해 효과적인 다중 모odal 정렬을 가능하게 하기 위해.
• 작업 특화의 융합 모델이 필요 없이 다양한 유형의 외부 데이터를 통합할 수 있는 일반화 가능한 프레임워크를 개발하기 위해.
• 통합된 다중 급도의 의미 융합을 통해 대화 추천 시스템에서 추천 정확도와 응답 품질을 동시에 향상시키기 위해.

제안 방법

• 프레임워크는 대화 및 외부 데이터 소스에서 다중 급도의 의미 단위(예: 엔티티, 서브그래프, 단어, 문장)를 추출한다.
• 일반 수준의 의미 표현 간의 정렬을 위해 군집적 대비 학습을 적용한다. 예를 들어 항목 수준의 선호도 또는 주제 수준의 요약과 같은 것들.
• 구체적이고 세부적인 의미 단위—예를 들어 개별 엔티티 또는 关련어구—간의 정렬을 위해 세분적 대비 학습을 사용한다.
• 이중 단계의 사전 훈련 전략을 적용한다: 첫 번째로 다중 유형의 데이터에서 군집에서 세분으로의 대비 학습을 수행하고, 두 번째로 최종 작업인 CRS 작업에서 엔드 투 엔드 미세조정을 수행한다.
• 미세조정 중에 유의미한 토큰을 우선시하기 위해 인스턴스 가중치 메커니즘을 도입한다.
• 모델은 확장 가능하도록 설계되어 있으며, 아키텍처의 전반적인 개편 없이도 추가적인 데이터 유형의 통합이 가능하다.

실험 결과

연구 질문

• RQ1 통합된 프레임워크는 대화 추론 시스템에서 다중 유형의 외부 데이터(예: 지식 그래프 및 리뷰)를 효과적으로 융합할 수 있는가?
• RQ2 직접 융합 또는 단일 급도 정렬과 비교했을 때, 군집에서 세분으로의 대비 학습은 이질적인 데이터 신호 간의 의미 정렬을 어떻게 향상시키는가?
• RQ3 군집적 의미 융합과 세분적 의미 융합이 전체 추천 및 응답 생성 성능에 기여하는 정도는 각각 얼마인가?
• RQ4 제안된 방법은 추천 및 대화 생성 작업 모두에서 기존 최신 기술 수준의 모델과 비교해 어떻게 성능을 냈는가?

주요 결과

• C2-CRS는 KECRS 데이터셋에서 추천 및 대화 작업 모두에서 최신 기술 수준의 성능을 달성하였으며, R@1은 1.55*이고 R@10은 1.47*이다.
• 군집에서 세분으로의 대비 학습 메커니즘을 제거할 경우 성능 저하가 가장 심각한데, 이는 R@1이 1.55*에서 0.031로 떨어지며 그 핵심적인 역할을 확인한다.
• 제거 실험 결과, 대화 이력, 구조화된 데이터(지식 그래프), 비구조화된 데이터(리뷰) 등 모든 유형의 외부 데이터가 성능 향상에 기여함을 보여준다.
• C2-CRS는 다중 작업 훈련 베이스라인을 능가하며, 모든 작업을 동시에 최적화하는 것보다 구조화된 군집에서 세분으로의 대비 학습이 더 효과적임을 시사한다.
• 사람 평가 결과, C2-CRS는 가장 정보량이 많고 유창한 응답을 생성하며, 유창성과 정보성 모두에서 가장 높은 점수를 기록한다.
• 미세조정 중 인스턴스 가중치 메커니즘이 정보성 토큰을 강조함으로써 응답 품질을 추가로 향상시킨다.