[논문 리뷰] Unbiased Cascade Bandits: Mitigating Exposure Bias in Online Learning to Rank Recommendation

Masoud Mansoury, Himan Abdollahpouri외 4명|arXiv (Cornell University)|2021. 08. 07.

Advanced Bandit Algorithms Research참고 문헌 31인용 수 23

한 줄 요약

이 논문은 선형 캐스케이딩 밴딧 알고리즘에 통합된 할인 메커니즘인 Unbiased Cascade Bandits를 제안한다. 이는 온라인 랭킹 학습 추천 시스템에서 노출 편향을 완화하기 위한 것이다. 자주 노출되는 항목의 유용성을 동적으로 감소시킴으로써, 누적 보상의 손실을 최소화하면서도 항목과 공급자에 대한 노출 정당성(공정성)을 크게 향상시킨다. 이는 세 가지 밴딧 알고리즘을 사용하여 두 개의 실세계 데이터셋에서 검증되었다.

ABSTRACT

Exposure bias is a well-known issue in recommender systems where items and suppliers are not equally represented in the recommendation results. This is especially problematic when bias is amplified over time as a few popular items are repeatedly over-represented in recommendation lists. This phenomenon can be viewed as a recommendation feedback loop: the system repeatedly recommends certain items at different time points and interactions of users with those items will amplify bias towards those items over time. This issue has been extensively studied in the literature on model-based or neighborhood-based recommendation algorithms, but less work has been done on online recommendation models such as those based on multi-armed Bandit algorithms. In this paper, we study exposure bias in a class of well-known bandit algorithms known as Linear Cascade Bandits. We analyze these algorithms on their ability to handle exposure bias and provide a fair representation for items and suppliers in the recommendation results. Our analysis reveals that these algorithms fail to treat items and suppliers fairly and do not sufficiently explore the item space for each user. To mitigate this bias, we propose a discounting factor and incorporate it into these algorithms that controls the exposure of items at each time step. To show the effectiveness of the proposed discounting factor on mitigating exposure bias, we perform experiments on two datasets using three cascading bandit algorithms and our experimental results show that the proposed method improves the exposure fairness for items and suppliers.

연구 동기 및 목표

• 캐스케이딩 밴딧 알고리즘이 온라인 랭킹 학습 추천 시스템에서 본질적으로 노출 편향을 완화하는지 조사하기.
• 기존의 캐스케이딩 밴딧 알고리즘이 시간이 지남에 따라 전체 항목 공간을 얼마나 공정하게 탐색하는지 분석하기.
• 이력 노출 기반의 동적 할인 메커니즘을 도입하여 이러한 알고리즘의 지속적인 노출 편향을 해결하기.
• 제안된 방법이 추천 관련성(정확성)을 희생시키지 않고 항목과 공급자에 대한 노출 정당성(공정성)을 향상시키는지 평가하기.

제안 방법

• 이전 타임스텝에서의 누적 노출에 기반해 항목의 유용성을 감소시키는 새로운 할인 요소를 도입한다.
• 노출 기반 할인 요소를 캐스케이딩 밴딧 알고리즘의 유용성 함수에 통합하여, 미노출된 항목의 탐색을 장려한다.
• CascadeLSB, CascadeLinUCB, CascadeHybrid의 세 가지 캐스케이딩 밴딧 알고리즘에 이 방법을 적용하여 탐색 행동을 향상시킨다.
• 할인 효과의 강도를 제어하기 위해 하이퍼파rameter $ c $ 를 사용하며, 최적의 값은 $ c = 0.5 $ 와 $ c = 1 $ 에서 경험적으로 도출되었다.
• 성능과 공정성 간의 트레이드오프 평가를 위해 주로 n단계 누적 손실(n-step regret)과 항목 커버리지(IC)를 사용한다.

실험 결과

연구 질문

• RQ1 기존의 캐스케이딩 밴딧 알고리즘이 시간이 지남에 따라 모든 항목과 공급자를 얼마나 공정하게 탐색하고 노출하는가?
• RQ2 동적 노출 기반 할인 메커니즘이 추천 성능을 떨어뜨리지 않고 항목과 공급자에 대한 노출 정당성(공정성)을 향상시킬 수 있는가?
• RQ3 할인 하이퍼파rameter $ c $ 의 선택이 손실(n-step regret)과 노출 정당성 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 원본 캐스케이딩 밴딧보다 노출 정당성 측면에서 뛰어나면서도 높은 누적 보상 성능을 유지하는가?

주요 결과

• 제안된 Unbiased Cascade Bandits는 원본 알고리즘 대비 항목 커버리지(IC)를 크게 향상시켰으며, $ c = 1 $ 일 때 MovieLens 데이터셋에서 최대 98%의 IC를 달성했다.
• Last.fm 데이터셋에서는 $ c = 0.5 $ 일 때 UnbiasedCascadeLSB가 원본 버전보다 6.3% 높은 항목 커버리지를 기록했으며, n단계 누적 손실의 증가가 거의 없었다.
• $ c ∈ \{0.5, 1\} $ 일 때, 두 데이터셋 전반에서 제안된 방법은 항목 커버리지와 공정성 지표에서 원본 알고리즘을 일관되게 능가했다.
• $ c $ 를 튜닝하는 것만으로는 공정성을 향상시키지 못했으며, 이는 할인 메커니즘이 하이퍼파ram터 최적화 문제보다 본질적인 요소임을 시사한다.
• 할인 메커니즘이 도입됨에 따라 노출 정당성 향상에 비해 누적 보상 성능은 거의 손상되지 않았다. 이는 n단계 누적 손실의 증가가 미미했기 때문이다.