[논문 리뷰] BARCOR: Towards A Unified Framework for Conversational Recommendation Systems

Ting-Chun Wang, Shang‐Yu Su외 1명|arXiv (Cornell University)|2022. 03. 27.

Recommender Systems and Techniques인용 수 5

한 줄 요약

이 논문은 BART 기반의 통합 프레임워크인 BARCOR을 제안한다. 이는 단일의 엔드 투 엔드 아키텍처를 사용해 대화형 추천 시스템에서 추천과 응답 생성을 동시에 모델링한다. BART의 양방향 인코더를 사용해 사용자 선호도를 모델링하고, 자동회귀 디코더를 사용해 응답을 생성하며, 경량의 영화 전용 지식 그래프(CORG)를 활용함으로써 자동 평가 및 인간 평가 모두에서 최신 기준 성능을 달성한다. 이는 더 적은 파라미터와 더 안정적인 최적화를 통해 이전의 모듈형 접근 방식을 능가한다.

ABSTRACT

Recommendation systems focus on helping users find items of interest in the situations of information overload, where users' preferences are typically estimated by the past observed behaviors. In contrast, conversational recommendation systems (CRS) aim to understand users' preferences via interactions in conversation flows. CRS is a complex problem that consists of two main tasks: (1) recommendation and (2) response generation. Previous work often tried to solve the problem in a modular manner, where recommenders and response generators are separate neural models. Such modular architectures often come with a complicated and unintuitive connection between the modules, leading to inefficient learning and other issues. In this work, we propose a unified framework based on BART for conversational recommendation, which tackles two tasks in a single model. Furthermore, we also design and collect a lightweight knowledge graph for CRS in the movie domain. The experimental results show that the proposed methods achieve the state-of-the-art performance in terms of both automatic and human evaluation.

연구 동기 및 목표

• 추천 및 응답 생성 모듈를 분리한 모듈형 대화형 추천 시스템(CRS)에서의 비효율성과 낮은 지식 전이 성능을 해결하기 위해.
• 공유된 맥락 표현을 사용해 추천과 대화 생성을 동시에 최적화하는 통합형 엔드 투 엔드 프레임워크를 개발하기 위해.
• 영화 도메인에 특화된 경량의 도메인 전용 지식 그래프(CORG)를 설계하고 수집하여 CRS 내 엔티티 및 관계 모델링을 향상시키기 위해.
• 사전 훈련된 맥락 표현과 지식 그래프의 구조적 지식을 통합해 추천 정확도와 응답 품질을 향상시키기 위해.
• 공유된 표현을 가진 통합 아키텍처가 자동 평가 및 인간 평가 모두에서 기존의 모듈형 및 다중 지식 그래프 접근 방식을 능가하는지 입증하기 위해.

제안 방법

• BART 아키텍처를 통합 기반으로 사용하며, 양방향 인코더는 추천 모듈로, 자동회귀 디코더는 응답 생성 모듈로 기능한다.
• 영화 도메인을 위한 새로운 경량 지식 그래프인 CORG(Conversational Recommendation Graph)를 도입하며, 엔티티, 관계, 단어 수준의 의미적 연결을 포함한다.
• CORG에 대해 그래프 신경망(GNN) 인코더를 적용하여 엔티티 표현을 풍부하게 하며, 노드 임베딩은 사전 훈련된 BART 인코더에서 초기화하여 훈련 안정성을 확보한다.
• 노드 분류 손실을 적용해 그래프 인코더를 감독함으로써 대화 맥락과 지식 그래프 엔티티 간의 의미적 정렬을 향상시킨다.
• 역번역과 엔티티 마스킹을 통한 훈련 세트 증강 기법을 적용해 통합 모델의 강건성과 일반화 능력을 향상시킨다.
• BART 인코더의 동일한 문장 수준 표현을 추천 및 생성 작업 모두에 공유함으로써 공동 최적화 및 지식 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 BART와 같은 사전 훈련된 시퀀스 투 시퀀스 아키텍처를 기반으로 한 통합형 엔드 투 엔드 모델이 추천 정확도와 응답 품질 측면에서 모듈형 CRS 시스템을 능가할 수 있는가?
• RQ2 경량의 도메인 전용 지식 그래프(CORG)를 통합할 경우 대화형 추천 시스템의 성능에 어떤 영향을 미치는가?
• RQ3 공유된 맥락 표현이 통합 아키텍처 내 추천과 응답 생성 간 지식 전이에 어떤 영향을 미치는가?
• RQ4 노드 초기화, 손실 감독, 데이터 증강과 같은 다양한 훈련 기법은 통합 모델의 최적화 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 대화 이력 내 암묵적 관계가 정확한 추천을 위해 명시적 지식 그래프 구조를 얼마나 대체할 수 있는가?

주요 결과

• BARCOR은 자동 평가 및 인간 평가 지표에서 모두 최신 기준 성능을 달성하며, KGSF 및 KBRD와 같은 강력한 베이스라인보다 추천 정확도(R@1, R@5, R@10)와 응답 유창성/관련성에서 뛰어난 성능을 보였다.
• BARCOR의 추천 모듈는 파라미터 수가 3900만 개 뿐이며, KGSF(10600만 개) 및 KBRD(9100만 개)의 절반 이하이지만 더 뛰어난 성능을 달성함으로써 높은 파라미터 효율성을 보였다.
• 제거 실험 결과, 사전 훈련된 BART 인코더에서 초기화된 노드 임베딩은 성능 향상과 과적합 감소에 기여하는 반면, 무작위 초기화는 성능 저하와 안정성 저하를 초래함을 확인했다.
• CORG(지식 그래프)를 제거하더라도 경쟁 가능한 성능을 유지함을 확인했으며, 이는 BART 인코더의 문장 수준 의미 표현만으로도 정확한 추천에 충분한 정보를 포함하고 있음을 시사한다.
• 제안된 노드 분류 손실 및 훈련 세트 증강 기법은 특히 그래프 인코더의 학습 가능 파라미터 수가 많아(2700만 개, 총 파라미터의 68%) 안정적인 훈련과 일반화 향상에 효과적이었다.
• 인간 평가 결과, BARCOR은 베이스라인 대비 더 정보가 풍부하고, 자연스럽고, 관련성이 높은 응답을 생성함을 확인했으며, 더 높은 일관성과 사용자 선호도 점수를 확보했다.