[논문 리뷰] CRSLab: An Open-Source Toolkit for Building Conversational Recommender System

Kun Zhou, Xiaolei Wang외 6명|arXiv (Cornell University)|2021. 01. 04.

Recommender Systems and Techniques참고 문헌 20인용 수 5

한 줄 요약

CRSLab는 개방형이고 모듈화된 툴킷으로, 6개의 인간 레이블링 데이터셋과 18개의 최신 기술 모델(예: 그래프 신경망 및 사전 훈련 모델 포함)을 통합하고, 표준화된 평가 프로토콜과 인간-기계 상호작용 인터페이스를 제공함으로써 대화형 추천 시스템(CRS) 연구 및 벤치마킹을 가속화하는 통합적이고 확장 가능한 프레임워크를 제공한다.

ABSTRACT

In recent years, conversational recommender system (CRS) has received much attention in the research community. However, existing studies on CRS vary in scenarios, goals and techniques, lacking unified, standardized implementation or comparison. To tackle this challenge, we propose an open-source CRS toolkit CRSLab, which provides a unified and extensible framework with highly-decoupled modules to develop CRSs. Based on this framework, we collect 6 commonly-used human-annotated CRS datasets and implement 18 models that include recent techniques such as graph neural network and pre-training models. Besides, our toolkit provides a series of automatic evaluation protocols and a human-machine interaction interface to test and compare different CRS methods. The project and documents are released at https://github.com/RUCAIBox/CRSLab.

연구 동기 및 목표

• 다양한 데이터셋, 모델, 평가 프로토콜로 인해 대화형 추천 시스템(CRS) 연구 분야에서 표준화 및 상호운용성 부족 문제를 해결하기 위해.
• 개발 및 비교를 효율적으로 수행할 수 있도록 고도로 분리된 모듈을 갖춘 통합적이고 확장 가능한 프레임워크를 제공하기 위해.
• 빠른 프로토타ип링과 벤치마킹을 위해 사전 구현된 데이터셋, 모델, 평가 도구를 제공함으로써 연구를 가속화하기 위해.
• 자동 평가 지표와 인간-기계 상호작용 인터페이스를 통해 평가를 표준화하여 정량적 분석을 가능하게 하기 위해.

제안 방법

• 툴킷은 추천, 대화, 정책의 세 가지 핵심 하위 작업으로 CRS를 분해하여 모듈화된 설계와 일관된 작업 정의를 가능하게 한다.
• YAML 파일과 명령줄 인터페이스를 사용한 설정 기반 아키텍처를 도입하여 데이터셋, 모델, 하이퍼파라미터를 관리한다.
• CRSLab은 데이터, 모델, 평가, 구성, 유틸리티 모듈 등 구분된 재사용 가능한 구성 요소를 제공하는 모듈식 프레임워크를 제공한다.
• 유틸리티 모듈은 로깅, 레이어 등 공통 기능을 캡슐화하여 다양한 모델과 데이터셋 간에 재사용 가능하게 하여 코드 유지보수성을 향상시킨다.
• 사용자는 기반 클래스(BaseDataset, BaseModel 등)를 상속하여 최소한의 코드로 새로운 데이터셋과 모델을 구현할 수 있다.
• 자동 평가를 지원하며, 실시간 테스트를 위한 웹 기반 인간-기계 상호작용 인터페이스를 포함하여 시스템의 구현과 사용성을 향상시킨다.

실험 결과

연구 질문

• RQ1 어떻게 통합적이고 확장 가능한 프레임워크를 설계하여 대화형 추천 시스템의 개발 및 비교를 표준화할 수 있는가?
• RQ2 다양한 연구 시나리오를 지원하기 위해 통합할 수 있는 벤치마크 데이터셋과 모델의 조합은 무엇인가?
• RQ3 자동 평가 프로토콜과 상호작용 인터페이스는 어떻게 재현 가능성과 사용성 향상에 기여하는가?
• RQ4 모듈식이고 분리된 툴킷은 새로운 CRS 모델과 데이터셋 개발에 있어 개발 오버헤드를 얼마나 줄일 수 있는가?

주요 결과

• CRSLab은 6개의 일반적으로 사용되는 인간 레이블링 CRS 데이터셋과 그래프 신경망 및 사전 훈련 기법 기반의 18개의 최신 기술 모델을 통합한다.
• 설정 기반 시스템을 통해 다양한 하이퍼파라미터 조정과 데이터셋 선택이 가능한 유연한 환경을 제공함으로써 빠른 모델 훈련 및 평가가 가능하다.
• 추천, 대화 생성, 정책 학습에 대해 표준화된 자동 평가 지표를 구현하여 다양한 모델 간 일관된 벤치마킹을 보장한다.
• 인간-기계 상호작용 인터페이스를 통해 웹 기반 인터페이스를 통해 실시간 시스템 테스트와 정성적 분석이 가능해져 구현 및 사용성 향상에 기여한다.
• 모듈식 아키텍처 덕분에 기반 클래스를 상속하여 새로운 데이터셋과 모델을 쉽게 추가할 수 있어 구현 복잡도가 감소한다.