[논문 리뷰] Recommendation System Simulations: A Discussion of Two Key Challenges

Allison J. B. Chaney|arXiv (Cornell University)|2021. 08. 25.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 추천 시스템 시뮬레이션에서 발생하는 두 가지 핵심 과제인 사용자 선택 행동 모델링과 비추천 콘텐츠 탐색의 통합을 식별하고 분석한다. 실제 사용자 행동을 더 잘 반영하기 위해 다중 소스 고려 집합과 확률적 접근 모델과 같은 개선된 시뮬레이션 가정을 제안하며, 체계적이고 경험 기반의 시뮬레이션 프레임워크를 통해 시스템 영향을 더 정확하게 평가할 것을 주장한다.

ABSTRACT

As recommendation systems become increasingly standard for online platforms, simulations provide an avenue for understanding the impacts of these systems on individuals and society. When constructing a recommendation system simulation, there are two key challenges: first, defining a model for users selecting or engaging with recommended items and second, defining a mechanism for users encountering items that are not recommended to the user directly by the platform, such as by a friend sharing specific content. This paper will delve into both of these challenges, reviewing simulation assumptions from existing research and proposing alternative assumptions. We also include a broader discussion of the limitations of simulations and outline of open questions in this area.

연구 동기 및 목표

• 추천 시스템 시뮬레이션에서 표준화되고 경험 기반의 가정이 부족한 문제를 해결하기 위해.
• 검색, 소셜 공유 등 비추천 콘텐츠 접근 방식이 사용자 행동을 어떻게 형성하는지 간과된 역할을 부각하기 위해.
• 알고리즘적 추천만을 시뮬레이션하는 일반적인 관행이 추천의 영향력을 과도하게 평가한다는 점을 도전하기 위해.
• 다양한 콘텐츠 접근 소스를 포함하고 각 소스에 맞는 행동 가정을 반영하는 시뮬레이션 모델을 주장하기 위해.
• 실제 플랫폼 동역학과 사용자 의사결정 방식을 반영하는 더 현실적이고 실용적인 시뮬레이션 기반을 마련하기 위해.

제안 방법

• 다양한 소스(예: 추천, 검색, 소셜 공유)에서 유래한 고려 집합을 포함하도록 사용자 선택 모델을 확장하는 것.
• 사용자가 소스별 관련성과 비용을 기반으로 항목을 선택하는 방식의 확률적 접근 모델을 도입하며, 다중 손잡이 락키 프레임워크와 유사하다.
• 순차적 항목 평가 과정에서 사용자 불확실성과 믿음 갱신을 모델링하는 것, 베이지안 업데이트 모델과 유사하다.
• 유사도 또는 거리 측정 기반의 저차원 사용자 및 항목 표현(예: 벡터)을 사용자 선호도를 모델링하기 위해 제안한다.
• 비추천 콘텐츠 접근 메커니즘에 대한 가정을 실세계 관측 데이터로 뒷받침할 것을 권고한다.
• 시뮬레이션 척도와 가정을 표준화하여 영향 평가의 재현 가능성과 현실성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 사용자 선택 모델에 대한 다양한 가정이 추천 시스템 연구의 시뮬레이션 결과에 어떤 영향을 미치는가?
• RQ2 시뮬레이션 설계에서 비추천 콘텐츠 탐색 메커니즘을 忽시할 경우 어떤 함의가 있는가?
• RQ3 시뮬레이션 모델이 알고리즘적 추천 외의 소스를 통해 콘텐츠에 접근하는 사용자를 어떻게 현실적으로 표현할 수 있는가?
• RQ4 검색, 소셜 공유 및 기타 비추천 경로가 사용자 행동과 콘텐츠 노출에 어떤 역할을 하는가?
• RQ5 실제 플랫폼 동역학을 반영하고 실무자에게 실질적인 통찰을 제공할 수 있도록 시뮬레이션 프레임워크를 어떻게 표준화할 수 있는가?

주요 결과

• 비추천 콘텐츠 접근 메커니즘을 배제한 시뮬레이션은 알고리즘적 추천이 사용자 행동에 미치는 영향을 과도하게 평가한다.
• 관측 데이터에 따르면 아마존 제품 브라우징의 최소 75%가 추천 없이 이루어지며, 이는 대체 접근 경로를 모델링할 필요성을 강조한다.
• 기존 시뮬레이션은 일반적으로 과도하게 단순화된 가정(예: 전반적인 항목 품질, 고정된 인기 편향)에 의존하여 현실성과 유용성이 제한된다.
• 소스별 관련성과 비용을 고려한 다중 소스 고려 집합을 통합하면 시뮬레이션 결과의 정밀도가 향상된다.
• 믿음 갱신과 불확실성을 포함한 사용자 선택 모델(예: 베이지안 모델)은 결정론적 또는 정적 모델보다 실제 의사결정 방식을 더 잘 반영한다.
• 콘텐츠 접근 및 사용자 선택에 대한 표준화되고 경험 기반의 가정은 실질적이고 현실적인 시뮬레이션 결과를 도출하기 위해 필수적이다.