[논문 리뷰] RecInDial: A Unified Framework for Conversational Recommendation with Pretrained Language Models

Lingzhi Wang, Huang Hu외 4명|arXiv (Cornell University)|2021. 10. 14.

Topic Modeling참고 문헌 57인용 수 9

한 줄 요약

이 논문은 사전 훈련된 언어 모델(PLM)과 어휘 포인터 메커니즘을 사용하여 항목 추천을 대화 생성에 통합하는 통합 프레임워크인 RecInDial을 제안한다. 지식 그래프 기반 임베딩 공간에서 PLM를 미세조정하고 항목 인식 어휘 포인터를 도입함으로써 RecInDial은 ReDial 벤치마크에서 최신 기술 수준의 성능을 달성하여 이전 방법들보다 대화의 자연스러움과 추천 정확도 면에서 뚜렷한 우월성을 보였다.

ABSTRACT

Conversational Recommender System (CRS), which aims to recommend high-quality items to users through interactive conversations, has gained great research interest recently. A CRS is usually composed of a recommendation module and a generation module. In the previous work, these two modules are loosely connected in the model training and are shallowly integrated during inference, where a simple switching or copy mechanism is adopted to incorporate recommended items into generated responses. Moreover, the current end-to-end neural models trained on small crowd-sourcing datasets (e.g., 10K dialogs in the ReDial dataset) tend to overfit and have poor chit-chat ability. In this work, we propose a novel unified framework that integrates recommendation into the dialog (RecInDial) generation by introducing a vocabulary pointer. To tackle the low-resource issue in CRS, we finetune the large-scale pretrained language models to generate fluent and diverse responses, and introduce a knowledge-aware bias learned from an entity-oriented knowledge graph to enhance the recommendation performance. Furthermore, we propose to evaluate the CRS models in an end-to-end manner, which can reflect the overall performance of the entire system rather than the performance of individual modules, compared to the separate evaluations of the two modules used in previous work. Experiments on the benchmark dataset ReDial show our RecInDial model significantly surpasses the state-of-the-art methods. More extensive analyses show the effectiveness of our model.

연구 동기 및 목표

• 기존 대화형 추천 시스템(CRS)이 응답 생성과 항목 추천를 별개로 다루며 느슨하게 연결된 모듈로 운영하는 데서 비롯하는 한계를 해결하기 위해.
• ReDial(~10K개 대화)과 같은 작은 커뮤니티 기반 데이터셋에서 훈련된 엔드 투 엔드 CRS 모델에서의 과적합 및 낮은 채팅 품질 문제를 극복하기 위해.
• 어휘 포인터 메커니즘을 활용해 추천과 생성 과정을 하나의 일관된 프레임워크로 통합하기 위해.
• 응답 생성과 추천 모듈의 성능을 별도로 평가하는 대신 전체 시스템의 성능을 반영하는 방식으로 엔드 투 엔드 평가를 수행하기 위해.
• 엔티티 중심 지식 그래프에서 학습된 지식 기반 표현을 통해 추천 품질을 향상시키기 위해.

제안 방법

• ReDial 데이터셋에서 대화형 응답 생성에 유창하고 다양한 응답을 생성할 수 있도록 대규모 사전 훈련된 언어 모델(예: DialoGPT)을 미세조정한다.
• 관계형 그래프 컨volution 네트워크(RGCN)를 통합하여 항목 중심 지식 그래프에서 노드 표현을 인코딩함으로써 사용자 선호도 모델링을 향상시킨다.
• PLM의 어휘를 전용 항목 어휘로 확장하여 생성 과정 중에 직접적으로 추천 항목을 예측할 수 있도록 한다.
• 디코딩 중에 표준 어휘에서 단어를 생성할지 또는 항목 어휘에서 항목을 선택할지 동적으로 결정하는 어휘 포인터 메커니즘을 도입한다.
• RGCN로 학습된 항목 표현을 생성 과정에 통합하여 지식 기반 편향을 적용함으로써 추천의 관련성을 향상시킨다.
• 최종 생성된 응답에 참조된 실제 추천 항목이 포함되어 있는지 확인함으로써 전체 시스템을 엔드 투 엔드로 평가하여 실제 환경 성능을 반영한다.

실험 결과

연구 질문

• RQ1 어휘 포인터를 통해 추천을 대화 생성에 통합하는 통합 프레임워크가 기존의 이중 단계 또는 느슨하게 연결된 CRS 모델보다 뛰어난 성능을 내는가?
• RQ2 관계형 지식 그래프에서 유래한 지식 기반 표현으로 대규모 사전 훈련된 언어 모델을 미세조정할 경우, 응답 품질과 추천 정확도가 어떻게 향상되는가?
• RQ3 복사 또는 포인터 메커니즘과 비교해 어휘 포인터 메커니즘이 생성된 응답에 항목을 통합하는 일관성과 적절성 면에서 얼마나 향상되는가?
• RQ4 응답 생성 및 추천 모듈를 별도로 평가하는 것보다 엔드 투 엔드 평가 전략이 실제 CRS 성능을 더 잘 반영하는가?
• RQ5 데이터 불균형과 쿨스타트 문제의 영향은 추천 성능에 어떤 영향을 미치며, 제안된 모델은 이러한 과제를 어떻게 완화할 수 있는가?

주요 결과

• RecInDial은 ReDial 벤치마크에서 최신 기술 수준의 방법들을 크게 능가하며, 대화 자연스러움과 추천 정확도 면에서 뛰어난 엔드 투 엔드 성능을 보였다.
• 이전 방법들보다 Recall@30 및 Recall@50 점수가 높았으며, 특히 쿨스타트 상황에서 자주 예측되지 않는 저빈도 영화에 대해 성능 향상이 두드러졌다.
• 어휘 포인터 메커니즋试로 추천 항목을 더 일관되고 맥락에 부합하는 방식으로 응답에 통합할 수 있었으며, '나는 그것을 추천할 거예요'와 같이 항목 이름을 명시하지 않는 실패 사례를 줄였다.
• 지식 그래프 기반 미세조정은 오래되거나 인기 없는 영화에 대해 사용자 선호도를 더 잘 추론할 수 있도록 모델의 능력을 향상시켰으며, 정성적 예시를 통해 이를 입증했다.
• 엔드 투 엔드 평가 결과 RecInDial은 더 정보가 풍부하고 자연스러운 응답을 생성하여 정확한 추천을 포함하지만, 일반적 또는 불완전한 응답을 생성하는 모델들과는 달리 성능이 뛰어났다.
• 데이터 불균형에도 불구하고 RecInDial은 다양한 영화 빈도 범위에서 비교적 안정적인 성능을 보였으며, 대화 맥락이 깊어질수록 Recall 점수가 향상되었지만, 5턴 이후로 개인화 요구가 증가함에 따라 약간의 성능 저하가 발생했다.