[論文レビュー] Recommenders with a mission: assessing diversity in newsrecommendations

Sanne Vrijenhoek, Mesut Kaya+4 more|arXiv (Cornell University)|Dec 18, 2020

Social Media and Politics参考文献 49被引用数 8

ひとこと要約

本稿は、民主的理論に裏打ちされ、実用的なニュース推薦システムの評価に適合化された、5つの規範的多様性指標（断片化、活性化、代表性、代替的声、リスト内距離）からなるフレームワークを提案する。このフレームワークは、民主的多様性の規範的理想と計算的指標を橋渡しし、モデル固有の指標最適化を通じてメディア機関がアルゴリズム設計を社会的価値と一致させるのを可能にする。

ABSTRACT

News recommenders help users to find relevant online content and have the potential to fulfill a crucial role in a democratic society, directing the scarce attention of citizens towards the information that is most important to them. Simultaneously, recent concerns about so-called filter bubbles, misinformation and selective exposure are symptomatic of the disruptive potential of these digital news recommenders. Recommender systems can make or break filter bubbles, and as such can be instrumental in creating either a more closed or a more open internet. Current approaches to evaluating recommender systems are often focused on measuring an increase in user clicks and short-term engagement, rather than measuring the user's longer term interest in diverse and important information. This paper aims to bridge the gap between normative notions of diversity, rooted in democratic theory, and quantitative metrics necessary for evaluating the recommender system. We propose a set of metrics grounded in social science interpretations of diversity and suggest ways for practical implementations.

研究の動機と目的

• 規範的民主的多様性理想と、ニュース推薦システムの評価に用いられる技術的指標の間のギャップを埋めること。
• 議論的包摂、批判的関与、多様性主義といった抽象的な民主的価値を、アルゴリズム評価に向けた明確で測定可能な指標に翻訳すること。
• メディア機関が特定の民主的モデル（例：議論的、批判的、多様性主義的）に適合した推薦システム設計を選択できる意思決定フレームワークを提供すること。
• 関連性とのトレードオフ戦略を用いて、現実の推薦システムに多様性指標を実装可能にする。
• コンピュータサイエンス、コミュニケーション科学研究、マスコミ法の分野間連携を促進し、倫理的根拠に基づいた解釈可能な推薦システムを構築すること。

提案手法

• 社会科学および民主的理論に基づいて導出された5つの核心的多様性指標（断片化、活性化、代表性、代替的声、リスト内距離）を提案する。
• 各指標を特定の民主的モデル（議論的、批判的、多様性主義的）とマッピングし、アルゴリズム設計を規範的価値と一致させる。
• 後から評価するのではなく、規範的多様性を推薦システムアーキテクチャに埋め込む「価値を設計に組み込む」アプローチを採用する。
• メディア機関が編集的ミッションや民主的モデルに応じて関連する指標を選択できる意思決定フレームワークを提示する。
• 既存の公平性に配慮した推薦システムの手法（例：Mehrotraら、2018）を基に、関連性と多様性の間のトレードオフ戦略を提言する。
• 異なる推薦システムにおける多様性指標を視覚化・比較可能にするツールの提案により、反復的設計と評価を支援する。

実験結果

リサーチクエスチョン

• RQ1 規範的民主的多様性概念を、ニュース推薦システムに適用可能な測定可能で実行可能な指標に翻訳する方法は何か？
• RQ2 アルゴリズム的ニュース推薦の評価において、考慮すべき主要な技術的および規範的次元の多様性とは何か？
• RQ3 議論的、批判的、多様性主義的といった異なる民主的モデルは、それぞれ異なる多様性指標のセットとしてどのように実装可能か？
• RQ4 推薦精度と規範的多様性の間に存在するトレードオフは何か？そして、設計段階でどのように体系的に管理できるか？
• RQ5 メディア機関は、編集的ミッションに一致させながら、これらの指標を現実のシステムにどのように実装できるか？

主な発見

• 本稿は、断片化、活性化、代表性、代替的声、リスト内距離という5つの明確に規範的根拠を持つ多様性指標を特定し、これらがニュース推薦における多様な民主的理想を包括的に反映していることを示している。
• 各指標は特定の民主的モデルと関連付けられている。例えば、低断片化と均等な代表性は議論的モデルと一致し、高活性化と逆方向の代表性は批判的モデルと一致する。
• このフレームワークにより、メディア機関は編集的ミッションや民主的価値を反映する指標の選択を通じて、意図的な設計意思決定を下せるようになる。
• 著者らは、多様性が単一の概念ではなく、選択された民主的モデルとコンテンツ目標に依存する総合的価値であることを示している。
• 提案された指標は、既存のアルゴリズム的手法を用いて関連性とのトレードオフを管理可能な形で、現実のシステムに実装可能である。
• このフレームワークは、厳密な基準ではなく、議論と適合の出発点として設計されており、メディア機関が自らのニーズと制約に合わせて指標をカスタマイズできるようにする。