[논문 리뷰] Modeling Content Creator Incentives on Algorithm-Curated Platforms

Jiri Hron, Karl Krauth외 3명|arXiv (Cornell University)|2022. 06. 27.

FinTech, Crowdfunding, Digital Finance인용 수 5

한 줄 요약

이 논문은 알고리즘에 의해 정렬되는 플랫폼에서 콘텐츠 제작자의 전략적 인cent티브를 형식화하는 노출 게임을 소개한다. 임베딩을 사용하여 알고리즘적 노출 최적화 방식을 모델링함으로써, 알고리즘 선택(예: 비음수 vs. 제약 없는 인수분해)이 나시 균형의 존재성과 성격에 결정적인 영향을 미친다는 것을 입증하며, 알고리즘 설계, 콘텐츠 다양성, 성별 기반 사용자 및 제작자 집단에 대한 편향 사이의 강력한 연관성을 드러낸다.

ABSTRACT

Content creators compete for user attention. Their reach crucially depends on algorithmic choices made by developers on online platforms. To maximize exposure, many creators adapt strategically, as evidenced by examples like the sprawling search engine optimization industry. This begets competition for the finite user attention pool. We formalize these dynamics in what we call an exposure game, a model of incentives induced by algorithms, including modern factorization and (deep) two-tower architectures. We prove that seemingly innocuous algorithmic choices, e.g., non-negative vs. unconstrained factorization, significantly affect the existence and character of (Nash) equilibria in exposure games. We proffer use of creator behavior models, like exposure games, for an (ex-ante) pre-deployment audit. Such an audit can identify misalignment between desirable and incentivized content, and thus complement post-hoc measures like content filtering and moderation. To this end, we propose tools for numerically finding equilibria in exposure games, and illustrate results of an audit on the MovieLens and LastFM datasets. Among else, we find that the strategically produced content exhibits strong dependence between algorithmic exploration and content diversity, and between model expressivity and bias towards gender-based user and creator groups.

연구 동기 및 목표

• 알고리즘 순위에 따라 노출이 결정되는 알고리즘에 의해 촉진되는 플랫폼에서 콘텐츠 제작자의 전략적 인센티브를 형식화하기 위해.
• 비음수 vs. 제약 없는 임베딩과 같은 소규모 알고리즘 설계 선택이 콘텐츠 창작 게임에서 나시 균형의 존재성과 구조에 어떻게 영향을 미치는지 분석하기 위해.
• 노출 게임을 활용해 알고리즘 배포 이전에 실시할 수 있는 감사 프레임워크를 개발하여, 알고리즘 배포 전에 원하는 콘텐츠와 유도되는 콘텐츠 사이의 불일치를 탐지하기 위해.
• MovieLens 및 LastFM 데이터셋을 사용하여 알고리즘 파라미터(예: 임베딩 차원, 탐색 수준)가 콘텐츠 다양성과 표현 편향에 미치는 영향을 실증적으로 평가하기 위해.

제안 방법

• 노출 게임을 비협력 게임으로 형식화하여, 제작자(플레이어)가 고정된 알고리즘 하에서 기대 노출를 극대화하기 위해 콘텐츠 전략(임베딩)을 선택하도록 설정한다.
• 노출를 사용자-아이템 임베딩 기반의 소프트맥스 기반 순위 함수를 통해 계산된 사용자가 제작자의 콘텐츠를 보여주는 기대 확률로 모델링한다.
• 전략을 단위 구면 상에 제약을 두어 정규화를 보장하기 위해 단위 구면 상에서 경사 상승법을 사용하여 국소 나시 균형(LNE)을 수치적으로 계산한다.
• 계산된 고정점이 실제로 국소 나시 균형인지 확인하기 위해 두 번째 차수 리emannian 검증을 적용하여, 탄성 공간에서 헤시안 행렬이 음의 정부호이도록 검증한다.
• 다양한 알고리즘 구성(예: NMF 대 PMF, 다른 임베딩 차원, 탐색 수준)을 시뮬레이션하여 알고리즘 롤아웃 이전의 감사 작업을 수행한다.
• 실제 알고리즘 시스템을 시뮬레이션하기 위해 행렬 인수분해 기반 추천기(편향이 포함된 PMF 포함)를 사용하고, 그로 인해 발생하는 콘텐츠 인센티브를 분석한다.

실험 결과

연구 질문

• RQ1 비음수 vs. 제약 없는 인수분해와 같은 알고리즘 선택이 콘텐츠 창작 게임에서 나시 균형의 존재성과 다중성에 어떻게 영향을 미치는가?
• RQ2 알고리즘 탐색(온도 초모수)과 그로 인한 콘텐츠 다양성 및 전략적 전문화 간의 관계는 무엇인가?
• RQ3 모델 표현력(예: 임베딩 차원)은 인센티브 기반 콘텐츠에서 특정 성별 기반 사용자 또는 제작자 집단에 대해 어떤 영향을 미치는가?
• RQ4 노출 게임은 원하는 콘텐츠와 인센티브 기반 콘텐츠 간의 불일치를 알고리즘 배포 이전에 탐지하기 위한 실용적인 사전 감사 도구로 활용될 수 있는가?
• RQ5 학습률, 온도와 같은 알고리즘 초모수의 변화가 균형의 구조와 그로 인한 콘텐츠 환경에 어떤 정도의 영향을 미치는가?

주요 결과

• 비음수 인수분해는 유일한 나시 균형을 유도하지만, 제약 없는 인수분해에서는 다수의 균형이 발생할 수 있어 알고리즘 설계가 전략적 결과에 직접적인 영향을 미친다는 것을 시사한다.
• 높은 수준의 알고리즘 탐색(높은 온도)은 광범위하게 인기 있는 콘텐츠를 유도하는 반면, 낮은 탐색 수준은 전문화 및 니치 콘텐츠 창작을 유도한다.
• 콘텐츠 다양성은 알고리즘 탐색과 모델 표현력에 크게 의존하며, 높은 임베딩 차원은 일부 구성에서 다양성을 증폭시킨다.
• 노출 게임 모델은 특정 알고리즘 아키텍처 하에서 일부 성별 기반 사용자 및 제작자 집단에 대해 유의미한 편향이 인센티브 기반 콘텐츠에 존재함을 드러낸다.
• 두 번째 차수 리emannian 검증은 LastFM에서 90% 이상, MovieLens에서 70% 이상의 실행에서 LNE를 성공적으로 검증하여 계산된 균형의 강건성을 확인한다.
• 노출 게임을 활용한 사전 감사 작업은 원하는 콘텐츠와 인센티브 기반 콘텐츠 간의 불일치를 탐지하였으며, 이는 알고리즘 거버넌스를 위한 사전 대응 도구로서의 방법의 잠재력을 입증한다.