[논문 리뷰] Combating the Filter Bubble: Designing for Serendipity in a University Course Recommendation System

Zachary A. Pardos, Weijie Jiang|arXiv (Cornell University)|2019. 07. 02.

Topic Modeling참고 문헌 30인용 수 4

한 줄 요약

이 논문은 필터 버블 문제를 해결하고 대학 환경에서 랜덤 추천의 다양성과 놀라움을 향상시키기 위해 과목, 학과, 교수자 요인을 동시에 모델링하는 수정된 스킵그램 모델인 multifactor2vec을 제안한다. 역사를 기반으로 한 수강 이력 시퀀스와 과목 설명을 통합하여, RNN 기반 추천보다 높은 신선도와 놀라움을 보이며, 동시에 강력한 관련성 유지를 달성하였다. 이는 70명의 학부생을 대상으로 한 사용자 연구를 통해 검증되었다.

ABSTRACT

Collaborative filtering based algorithms, including Recurrent Neural Networks (RNN), tend towards predicting a perpetuation of past observed behavior. In a recommendation context, this can lead to an overly narrow set of suggestions lacking in serendipity and inadvertently placing the user in what is known as a "filter bubble." In this paper, we grapple with the issue of the filter bubble in the context of a course recommendation system in production at a public university. Most universities in the United States encourage students to explore developing interests while simultaneously advising them to adhere to course taking norms which progress them towards graduation. These competing objectives, and the stakes involved for students, make this context a particularly meaningful one for investigating real-world recommendation strategies. We introduce a novel modification to the skip-gram model applied to nine years of historic course enrollment sequences to learn course vector representations used to diversify recommendations based on similarity to a student's specified favorite course. This model, which we call multifactor2vec, is intended to improve the semantics of the primary token embedding by also learning embeddings of potentially conflated factors of the token (e.g., instructor). Our offline testing found this model improved accuracy and recall on our course similarity and analogy validation sets over a standard skip-gram. Incorporating course catalog description text resulted in further improvements. We compare the performance of these models to the system's existing RNN-based recommendations with a user study of undergraduates (N = 70) rating six characteristics of their course recommendations. Results of the user study show a dramatic lack of novelty in RNN recommendations and depict the characteristic trade-offs that make serendipity difficult to achieve.

연구 동기 및 목표

• 과거 행동 기반으로 인해 협소해지는 추천으로 인한 필터 버블 문제를 해결하기 위해 대학 과목 추천 시스템에서 발생하는 문제를 다루기 위해.
• 기본 수강 패턴을 초월한 놀라운 과목 추천을 통해 새로운 시도와 관련성의 균형을 이루는 추천 시스템을 설계하기 위해.
• 과목, 학과, 교수자 요인을 동시에 모델링하여 교차 학과 간 의미적 유사성을 포착함으로써 과목 표현 학습을 향상시키기 위해.
• 사용자 연구와 기관 데이터를 활용하여 실제 대학 환경에서 다양한 추천 전략의 효과성을 평가하기 위해.
• 기존 RNN 기반 추천을 요구사항 이행을 위한 기준 도구로 재정의하고, 놀라움 중심의 모델은 탐색용으로 활용하기 위해.

제안 방법

• 9년 간의 익명화된 과목 수강 이력 시퀀스에서 과목, 학과, 교수자 요인의 공동 임베딩을 학습하는 스킵그램의 변형인 multifactor2vec을 제안한다.
• 순차적 수강 데이터를 기반으로 학습하여, 학과 간에도 묵시적 의미 유사성을 반영한 벡터 표현을 학습한다.
• 과목 카탈로그 설명에서 유래한 텍스트 특징을 과목 임베딩에 보완하여 의미 일반화 및 유사도 탐지 능력을 향상시킨다.
• 단일 명시적 과목 선호도를 입력으로 사용하여, 비전 분야의 소수 샘플 학습과 유사한 일회성 일반화를 가능하게 한다.
• 과목 유사도 및 유사도 유추 작업에서의 오프라인 검증을 통해 모델 성능을 비교하며, 정확도와 재현율을 측정한다.
• 사용자 연구(N=70)를 수행하여 6가지 추천 특성(신선도, 성공률, 관련성, 일관성, 매력도, 유용성)을 평가한다.

실험 결과

연구 질문

• RQ1 과목, 학과, 교수자 임베딩을 동시에 학습하는 수정된 스킵그램 모델이 RNN 기반 시스템에 비해 과목 추천의 놀라움을 향상시킬 수 있는가?
• RQ2 과목 설명 임베딩은 수강 이력 패tern을 초월하여 과목 유사도의 의미 일반화를 어느 정도 향상시키는가?
• RQ3 학생들은 과목 추천에서 놀라움과 성공률 사이의 상호보완적 관계를 어떻게 평가하는가?
• RQ4 기본적인 행동(예: 요구사항 이행)은 학생 만족도에 어떤 역할을 하는가? 그리고 이를 탐색적 추천과 어떻게 분리할 수 있는가?
• RQ5 ‘탐색(Explore)’(놀라움 중심)과 ‘요구사항(Requirements)’(기본 기준)을 분리한 하이브리드 추천 인터페이스는 사용자 경험을 향상시킬 수 있는가?

주요 결과

• multifactor2vec 모델은 표준 스킵그램 및 RNN 기반 모델에 비해 과목 유사도 및 유사도 유추 검증 세트에서 정확도와 재현율이 유의미하게 향상되었다.
• Bag-of-Words(BOW) 기반 모델이 RNN보다 높은 놀라움과 신선도를 기록하여, RNN 추천이 지나치게 예측 가능하고 제한적임을 시사했다.
• 사용자 연구 결과, RNN 추천은 놀라움이 크게 낮아 기존 시스템에 필터 버블 현상이 존재함을 확인했다.
• BOW 모델은 높은 놀라움과 신선도 평가를 기록했고, Equivalency(non-div) 모델은 성공률과 관련성에서 최고 점수를 기록했다.
• 학생들은 RNN 추천을 주로 전공 요구사항 이행을 위한 도구로 평가하여, 이 모델이 탐색용 도구가 아니라 기준 도구로 기능한다는 점을 확인했다.
• 피드백을 바탕으로 재설계된 시스템 인터페이스는 BOW 및 Equivalency 모델을 사용하는 전용 ‘탐색’ 탭과 RNN을 활용해 기본 과목 경로를 보여주는 ‘요구사항’ 탭을 포함하게 되었다.