[논문 리뷰] Fairness in Online Social Network Timelines: Measurements, Models and Mechanism Design

Eduardo Hargreaves, Claudio Agosti외 4명|arXiv (Cornell University)|2018. 09. 11.

Complex Network Analysis Techniques참고 문헌 71인용 수 1

한 줄 요약

이 논문은 측정, 분석적 시간-존재 시간(TTL)-기반 모델, 공정성 기반 메커니즘 설계를 융합한 재현 가능한 방법론을 제안하여 페이스북 뉴스피드 알고리즘의 편향을 감시한다. 이는 중립적 사용자에게도 특히 타임라인 상단에서 심각한 노출 및 점유도 편향을 드러내며, 콘텐츠 큐레이션을 위한 새로운 투명한 유틸리티 기반 공정성 메커니즘을 제안한다.

ABSTRACT

Facebook News Feed personalization algorithm has a significant impact, on a daily basis, on the lifestyle, mood and opinion of millions of Internet users. Nonetheless, the behavior of such algorithm lacks transparency, motivating measurements, modeling and analysis in order to understand and improve its properties. In this paper, we propose a reproducible methodology encompassing measurements, an analytical model and a fairness-based News Feed design. The model leverages the versatility and analytical tractability of time-to-live (TTL) counters to capture the visibility and occupancy of publishers over a News Feed. Measurements are used to parameterize and to validate the expressive power of the proposed model. Then, we conduct a what-if analysis to assess the visibility and occupancy bias incurred by users against a baseline derived from the model. Our results indicate that a significant bias exists and it is more prominent at the top position of the News Feed. In addition, we find that the bias is non-negligible even for users that are deliberately set as neutral with respect to their political views, motivating the proposal of a novel and more transparent fairness-based News Feed design.

연구 동기 및 목표

• 사용자의 정보 다이어트와 정치적 시각을 결정짓는 페이스북 뉴스피드 알고리즘의 투명성과 감시 가능성 부족 문제를 해결하기 위해.
• 개인화된 랭킹 하에서 필터링 정책이 뉴스피드 타임라인 내 출판사의 노출도와 점유도에 어떻게 영향을 미치는지 측정하고 모델링하기 위해.
• 사용자 선호도와 출판사 간 공정한 노출를 균형 잡는 공정성 기반 메커니즘 설계를 통해 콘텐츠 다양성을 증진하기 위해.
• 페이스북의 API에 의존하지 않는 공개 데이터셋과 브라우저 기반 측정 도구를 제공함으로써 공개적이고 재현 가능한 연구를 가능하게 하기 위해.
• 설명 가능하고 검증 가능하며 원칙적인 콘텐츠 배분 방식을 통해 GDPR 준수와 알고리즘 책임성 강화를 지원하기 위해.

제안 방법

• 페이스북의 제한된 API를 우회하기 위해 사용자로부터 실시간 뉴스피드 콘텐츠와 메타데이터를 자율적으로 수집하는 브라우저 확장 기능을 개발하였다.
• 필터링 정책에 따라 출판사의 뉴스피드 내 노출도와 점유도를 정량화하기 위해 분석적 TTL 기반 모델을 제안하였다.
• 2018년 이탈리아 선거 기간 동안 수집한 실증 데이터를 바탕으로 모델를 校정하고 검증하였으며, 사용자 '좋아요' 프로파일과 정치 콘텐츠에 집중하였다.
• 볼록 유틸리티 함수(예: α-공정성)를 사용한 유틸리티 기반 메커니즘 설계를 통해 사용자 선호도와 출판사 공정성 간 균형을 도모하였다.
• 기본 모델과의 비교를 위해 다양한 필터링 시나리오(예: 필터링 없음)를 시뮬레이션하여 편향 정도를 평가하는 '만약-그렇다면' 분석을 수행하였다.
• 유틸리티 기반 캐시 설계 원칙을 사회적 미디어 큐레이션에 통합하여 제한된 타임라인 공간에 대한 공정성 인식 배분을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 사용자의 '좋아요' 프로파일에 따라 뉴스피드 알고리즘이 필터링 행동을 어떻게 달리하는가, 특히 타임라인 최상단 위치에서?
• RQ2 사용자가 정치적 콘텐츠를 명시적으로 피하는 경우에도, 출판사에 대한 노출 및 점유도 편향이 얼마나 발생하는가?
• RQ3 다양한 필터링 정책이 출판사의 노출에 어떤 영향을 미치며, 기준 모델을 사용해 편향을 정량화할 수 있는가?
• RQ4 사용자 선호도와 다양한 출판사 간 공정한 노출를 균형 잡는 공정성 기반 메커니즘을 설계할 수 있는가?
• RQ5 기밀 API에 의존하지 않고도 사회적 미디어 콘텐츠 큐레이션의 투명성과 감시 가능성을 어떻게 달성할 수 있는가?

주요 결과

• 뉴스피드 알고리즘은 특히 타임라인 최상단 위치에서 노출 편향을 심각하게 증폭시키며, 따라가고 있는 출판사의 일부에만 노출되는 경향이 있다.
• 정치 콘텐츠를 '좋아요'하지 않는 것으로 명시적으로 정치적 콘텐츠를 피하는 사용자조차도 비균일한 필터링에 노출되어 있어, 사용자 선호도를 초월한 체계적 편향이 존재함을 시사한다.
• 제안된 TTL 기반 모델은 출판사의 노출 및 점유도 역학을 정확히 포착하여, 다양한 필터링 정책의 '만약-그렇다면' 분석을 신뢰성 있게 가능하게 한다.
• '필터링 없음' 시나리오에서는 현재 알고리즘이 상당한 편향을 유발하며, 일부 출판사가 비례를 초월해 극도로 높은 노출도를 얻고 있음을 드러낸다.
• 공정성 기반 메커니즘 설계는 사용자 선호도와 출판사 공정성 간 균형을 성공적으로 유지하며, 투명하고 검증 가능한 투명한 순위 매기기 시스템에 대한 원칙적인 대안을 제공한다.
• 측정 방법론과 공개 데이터셋은 재현 가능한 연구를 가능하게 하며, 알고리즘 큐레이션의 GDPR 준수 투명성 지원에 기여한다.