[논문 리뷰] When the Umpire is also a Player: Bias in Private Label Product Recommendations on E-commerce Marketplaces

Abhisek Dash, Abhijnan Chakraborty외 3명|arXiv (Cornell University)|2021. 01. 30.

Consumer Market Behavior and Pricing참고 문헌 39인용 수 4

한 줄 요약

이 논문은 아마존의 스폰서드 및 온라인 관련 제품 추천을 체계적으로 감사하여, 아마존의 프라이빗 레이블(PL) 제품이 스폰서드 결과에서 상당한 편향을 받고 있음을 드러낸다. 다수의 편향 측정 기준을 포함한 네트워크 중심 프레임워크를 사용하여, 연구는 PL 제품이 온라인 추천보다 스폰서드 추천을 훨씬 더 많이 받는다는 것을 발견했으며, PL 소속 여부가 링크 형성에서 가장 영향력 있는 요소임을 확인했다—이는 제3자 판매자들에게 불리한 알고리즘적 편향을 의미한다.

ABSTRACT

Algorithmic recommendations mediate interactions between millions of customers and products (in turn, their producers and sellers) on large e-commerce marketplaces like Amazon. In recent years, the producers and sellers have raised concerns about the fairness of black-box recommendation algorithms deployed on these marketplaces. Many complaints are centered around marketplaces biasing the algorithms to preferentially favor their own `private label' products over competitors. These concerns are exacerbated as marketplaces increasingly de-emphasize or replace `organic' recommendations with ad-driven `sponsored' recommendations, which include their own private labels. While these concerns have been covered in popular press and have spawned regulatory investigations, to our knowledge, there has not been any public audit of these marketplace algorithms. In this study, we bridge this gap by performing an end-to-end systematic audit of related item recommendations on Amazon. We propose a network-centric framework to quantify and compare the biases across organic and sponsored related item recommendations. Along a number of our proposed bias measures, we find that the sponsored recommendations are significantly more biased toward Amazon private label products compared to organic recommendations. While our findings are primarily interesting to producers and sellers on Amazon, our proposed bias measures are generally useful for measuring link formation bias in any social or content networks.

연구 동기 및 목표

• 아마존의 스폰서드 관련 제품 추천이 자신의 프라이빗 레이블(PL) 제품을 제3자(3P) 제품보다 체계적으로 우선시하는지 조사하기.
• 아마존의 스폰서드 추천 시스템과 온라인 추천 시스템 간의 편향을 정량화하고 비교하기.
• 추천 네트워크에서 링크 형성 편향을 측정하기 위한 네트워크 중심 프레임워크 개발하기.
• 판매자 및 제품 특성의 상대적 영향력이 추천 노출에 미치는 영향 평가하기.
• 규제 기관, 연구자, 플랫폼 설계자들이 알고리즘 공정성에 대해 근거 기반 통찰을 확보하기.

제안 방법

• 제품 카테고리의 온라인(뷰어 유사도 기반) 및 스폰서드(광고 기반) 관련 제품 네트워크(RINs)를 기반으로 한 두 가지 네트워크 기반 표현 구축하기.
• 제품 및 판매자 특성의 영향을 인-degree(즉, 추천 수)에 영향을 주는 정도를 추정하기 위해 네트워크 기반 회귀(NBR) 모델 적용하기.
• PL 및 3P 제품 간 추천 노출 격차를 정량화하기 위해 다섯 가지 상호직교된 편향 측정 기준 사용하기.
• 백팩 및 배터리 카테고리의 아마존 제품 페이지에서 데이터를 수집하고 분석하여 추천 패턴 유추하기.
• 온라인 RIN과 스폰서드 RIN 간 특성(예: PL 소속, FBA 유통, 판매자 품질 등)의 추정 계수를 비교하여 편향 탐지하기.
• 주요 특성의 추천 빈도에 미치는 영향을 검증하기 위해 통계적 유의성 검정 수행하기.

실험 결과

연구 질문

• RQ1 아마존의 프라이빗 레이블 제품이 제3자 제품보다 스폰서드 관련 제품 추천에서 비례를 초과하는가?
• RQ2 스폰서드 추천의 편향은 온라인(뷰어 유사도 기반) 추천의 편향과 비교해 어떻게 다른가?
• RQ3 스폰서드 결과에서 추천될 가능성을 가장 크게 영향을 주는 제품 및 판매자 특성은 무엇인가?
• RQ4 프라이빗 레이블 소속 여부가 추천 노출에 미치는 영향은 통계적으로 유의미하고, 다양한 제품 카테고리 간 일관된가?
• RQ5 판매자 품질, 유통 방식(FBA), 제품 인기도 등의 특성이 스폰서드 시스템과 온라인 시스템 간 추천 노출에 얼마나 영향을 미치는가?

주요 결과

• 스폰서드 관련 제품 네트워크에서 프라이빗 레이블(PL) 소속 여부는 인-degree의 가장 중요한 예측 변수이며, 추정 계수 0.741로 강력한 알고리즘적 편향을 나타낸다.
• 온라인 추천에서는 PL 소속 여부가 음의 통계적 유의성 있는 영향을 미치며(계수 -0.183), 이는 소비자가 자연스럽게 PL 제품을 선호하지 않음을 시사한다.
• Fulfillment by Amazon(FBA)는 온라인 및 스폰서드 네트워크 양쪽에서 가장 영향력 있는 특성이나, 스폰서드 RIN에서는 PL 소속 여부에 비해 상대적 중요도가 낮다.
• 판매자 품질과 제품 품질은 양방향 RIN 모두에서 인-degree에 긍정적이고 통계적으로 유의미한 영향을 미치지만, 스폰서드 네트워크에서는 PL 소속 여부의 영향력에 비해 훨씬 낮다.
• 모델 어디서든 제품 인기도가 인-degree에 양의 또는 유의미한 영향을 주지 않아, 인기도 자체가 추천 빈도를 이끄는 것은 아님을 시사한다.
• PL 제품에 대한 편향은 스폰서드 추천에서 온라인 추천보다 뚜렷하게 높으며, PL 소속 여부의 상대적 중요도가 두 유형의 추천 간 비교에서 가장 크게 증가한다.