[논문 리뷰] Improving Recommender Systems Beyond the Algorithm

Tobias Schnabel, Paul N. Bennett외 1명|arXiv (Cornell University)|2018. 02. 21.

Recommender Systems and Techniques참고 문헌 40인용 수 15

한 줄 요약

이 논문은 정보 포식 이론을 활용해 추천 시스템의 암묵적 피드백을 사용자 인터페이스 설계를 통해 조작함으로써 피드백의 질과 양을 최적화하는 방법을 제안한다. 사용자 연구 결과, 정보 향기 강화 및 액세스 비용 감소와 같은 인터페이스 간섭 조치가 사용자 경험을 해치지 않으면서 학습 효과를 향상시킴으로써 알고리즘 개선 외의 보완적 접근을 가능하게 한다.

ABSTRACT

Recommender systems rely heavily on the predictive accuracy of the learning algorithm. Most work on improving accuracy has focused on the learning algorithm itself. We argue that this algorithmic focus is myopic. In particular, since learning algorithms generally improve with more and better data, we propose shaping the feedback generation process as an alternate and complementary route to improving accuracy. To this effect, we explore how changes to the user interface can impact the quality and quantity of feedback data -- and therefore the learning accuracy. Motivated by information foraging theory, we study how feedback quality and quantity are influenced by interface design choices along two axes: information scent and information access cost. We present a user study of these interface factors for the common task of picking a movie to watch, showing that these factors can effectively shape and improve the implicit feedback data that is generated while maintaining the user experience.

연구 동기 및 목표

• 추천 시스템에서 알고리즘 개선에 대한 이면적인 집중을 해결하기 위해 알고리즘 외적 길을 탐색하여 더 나은 학습 성능를 달성하고자 한다.
• 사용자 인터페이스 설계가 기계 학습에 사용되는 암묵적 피드백 데이터의 질과 양에 미치는 영향을 조사하고자 한다.
• 정보 포식 이론을 사용자 인터페이스 간섭 조치를 설계하는 프레임워크로 활용하여 피드백 생성을 향상시키고자 한다.
• 이러한 간섭 조치가 사용자 경험을 해치지 않으면서도 학습을 위한 피드백 데이터를 향상시킬 수 있는지 평가하고자 한다.
• UX 디자이너가 기계 학습 목표와 일치하는 인터페이스 설계를 위해 피드백 질과 양을 실용적 지표로 제안하고자 한다.

제안 방법

• 정보 포식 이론을 적용하여 피드백 생성을 두 축(정보 향기(단서의 명확성) 및 정보 액세스 비용(세부 정보 확보에 드는 노력))에 따라 포식 과정으로 모델링한다.
• 영화 추천 작업에서 UI 변형을 설계 및 구현함: 정보 향기(예: 제목, 포스터, 설명)와 액세스 비용(예: 호버 vs 클릭을 통한 세부 정보 노출)을 다양하게 조절한다.
• 48명의 참가자를 대상으로 제어된 사용자 연구를 수행하여 다양한 인터페이스 조건 간 피드백 데이터를 비교한다.
• 피드백 양을 사용자 상호작용 수(예: 클릭, 호버)로 측정하고, 피드백 질을 선택된 항목의 평균 사용자 평점으로 측정한다.
• 통계 분석을 통해 인터페이스 설계가 피드백 지표와 사용자 인식에 미치는 영향을 평가한다.
• UX 평가에서 기계 학습 성능의 대체 지표로 피드백 질과 양을 도입한다.

실험 결과

연구 질문

• RQ1 정보 향기와 정보 액세스 비용의 변동이 영화 추천 작업에서 암묵적 피드백의 질과 양에 어떤 영향을 미치는가?
• RQ2 인터페이스 설계 간섭 조치가 사용자 경험을 떨어뜨리지 않고도 피드백 데이터의 질과 양을 향상시킬 수 있는가?
• RQ3 포식 간섭 조치는 피드백을 기계 학습에 활용하기 위해 사용자 인지 부하를 어느 정도 감소시키는가?
• RQ4 피드백 질과 양은 추천 시스템에서 UX 디자이너가 설계 결정을 내리는 데 실용적인 지표로 어떻게 활용될 수 있는가?
• RQ5 인터페이스 설계에서 피드백 데이터 향상과 단기 사용성 유지 사이에 존재하는 상충 관계는 무엇인가?

주요 결과

• 더 풍부한 초기 항목 표현을 통해 정보 향기를 높임으로써 선택된 항목의 평균 사용자 평점이 높아져 피드백 질이 크게 향상됨을 측정함.
• 호버 기반 미리보기 기능을 통해 액세스 비용을 낮추자 클릭 기반 노출 인터페이스 대비 피드백 양이 25% 증가함.
• 높은 정보 향기와 낮은 액세스 비용의 조합이 가장 높은 피드백 질과 양을 기록하며 상호 보완적 효과를 입증함.
• 강한 정보 향기와 낮은 액세스 비용을 가진 인터페이스를 사용한 사용자들이 인지 부하가 낮아졌다는 보고를 하여 사용성 향상을 시사함.
• 피드백 질과 양이 기계 학습 성능의 신뢰할 수 있는 대체 지표임을 확인하였으며, UX 디자이너가 실용적인 평가 프레임워크를 확보할 수 있음.
• 호버 기반 상호작용은 피드백 수를 늘렸지만 일부 사용자에겐 간섭적인 것으로 인식되어 주요 사용성 상충 관계를 드러냄.