[논문 리뷰] Recommenders with a mission: assessing diversity in newsrecommendations

Sanne Vrijenhoek, Mesut Kaya외 4명|arXiv (Cornell University)|2020. 12. 18.

Social Media and Politics참고 문헌 49인용 수 8

한 줄 요약

이 논문은 민주적 이론에 기반하면서도 실용적인 뉴스 추천 시스템 평가를 위해 구현 가능한 다섯 가지 범주적 다양성 지표—분열도(Fragmentation), 활성화도(Activation), 표현도(Representation), 대안적 목소리(Alternative Voices), 내부 목록 거리(Intra-list Distance)—를 제안한다. 이는 민주적 다원주의의 범주적 이상과 계산적 지표를 연결하며, 모델별 지표 최적화를 통해 미디어 기관이 알고리즘 설계를 사회적 가치와 일치시킬 수 있도록 한다.

ABSTRACT

News recommenders help users to find relevant online content and have the potential to fulfill a crucial role in a democratic society, directing the scarce attention of citizens towards the information that is most important to them. Simultaneously, recent concerns about so-called filter bubbles, misinformation and selective exposure are symptomatic of the disruptive potential of these digital news recommenders. Recommender systems can make or break filter bubbles, and as such can be instrumental in creating either a more closed or a more open internet. Current approaches to evaluating recommender systems are often focused on measuring an increase in user clicks and short-term engagement, rather than measuring the user's longer term interest in diverse and important information. This paper aims to bridge the gap between normative notions of diversity, rooted in democratic theory, and quantitative metrics necessary for evaluating the recommender system. We propose a set of metrics grounded in social science interpretations of diversity and suggest ways for practical implementations.

연구 동기 및 목표

• 범주적 민주적 이상의 다양성과 뉴스 추천 시스템 평가에 사용되는 기술적 지표 사이의 격차를 해소하기 위해.
• 의사소통적 포함, 비판적 참여, 다원주의와 같은 추상적인 민주적 가치들을 알고리즘 평가를 위한 구체적이고 측정 가능한 지표로 번역하기 위해.
• 미디어 기관이 특정 민주적 모델(예: 의사소통 중심, 비판 중심, 다원주의 중심)과 일치하는 추천 시스템 설계를 선택할 수 있도록 决정 프레임워크를 제공하기 위해.
• 관련성과의 트레이드오프 전략과 함께 실세계 추천 시스템에 다양성 지표를 실현 가능한 방식으로 구현하기 위해.
• 컴퓨터 과학, 커뮤니케이션 과학, 미디어 법 분야 간의 다학제적 협업을 촉진하여 윤리적 기반을 가진, 해석 가능한 추천 시스템을 만들기 위해.

제안 방법

• 사회과학 및 민주적 이론에서 유래한 다섯 가지 핵심 다양성 지표를 제안: 분열도(Fragmentation), 활성화도(Activation), 표현도(Representation), 대안적 목소리(Alternative Voices), 내부 목록 거리(Intra-list Distance).
• 각 지표를 특정 민주적 모델(의사소통 중심, 비판 중심, 다원주의 중심)과 연결하여 알고리즘 설계를 범주적 가치와 일치시킴.
• 후행 평가가 아니라 설계 단계에서부터 범주적 다양성을 통합하는 '가치-기반 설계' 접근법을 도입.
• 미디어 기관이 편집 미션과 민주적 모델에 따라 관련 지표를 선택할 수 있도록 决정 프레임워크를 제안.
• 기존의 공정성 인식 추천 시스템의 접근법(예: Mehrotra 등, 2018)을 참조하여 관련성과 다양성 간의 트레이드오프 전략을 제안.
• 다양한 추천 시스템 간의 다양성 지표를 시각화하고 비교할 수 있는 도구를 제안하여 반복적 설계 및 평가를 지원함.

실험 결과

연구 질문

• RQ1 범주적 민주적 개념인 다양성은 어떻게 뉴스 추천 시스템의 측정 가능하고 실행 가능한 지표로 번역될 수 있는가?
• RQ2 알고리즘 뉴스 추천에서 평가해야 할 핵심 기술적 및 범주적 차원의 다양성은 무엇인가?
• RQ3 의사소통 중심, 비판 중심, 다원주의 중심 등의 다양한 민주적 모델은 어떻게 서로 다른 다양성 지표 집합으로 구현될 수 있는가?
• RQ4 추천 정확도와 범주적 다양성 사이에 존재하는 트레이드오프는 무엇이며, 설계 과정에서 어떻게 체계적으로 관리할 수 있는가?
• RQ5 미디어 기관은 자신의 편집 미션과 일치하면서도 실제 시스템에 이러한 지표를 어떻게 구현할 수 있는가?

주요 결과

• 논문은 뉴스 추천에서 다양한 민주적 이상을 반영하는 다섯 가지 구체적이고 범주적으로 뒷받침된 다양성 지표—분열도(Fragmentation), 활성화도(Activation), 표현도(Representation), 대안적 목소리(Alternative Voices), 내부 목록 거리(Intra-list Distance)—를 규명하였다.
• 각 지표는 특정 민주적 모델과 연결된다: 예를 들어 낮은 분열도와 균형 잡힌 표현도는 의사소통 중심 모델과 일치하며, 높은 활성화도와 반대 방향의 표현도는 비판 중심 모델과 일치한다.
• 이 프레임워크는 미디어 기관이 편집 미션과 민주적 가치를 반영한 의도적인 설계 선택을 할 수 있도록 한다.
• 저자들은 다양성이 단일 개념이 아니라 선택된 민주적 모델과 콘텐츠 목표에 따라 달라지는 종합적 가치임을 입증한다.
• 제안된 지표들은 실제 시스템에 적용 가능하도록 설계되었으며, 기존 알고리즘 기법을 활용해 관련성과의 트레이드오프를 관리할 수 있다.
• 이 프레임워크는 고정된 기준이 아니라 논의와 적응의 출발점으로서, 미디어 기관이 특정 필요와 제약 조건에 맞게 지표를 맞춤형으로 조정할 수 있도록 한다.