[論文レビュー] Auditing News Curation Systems: A Case Study Examining Algorithmic and Editorial Logic in Apple News

Jack Bandy, Nicholas Diakopoulos|arXiv (Cornell University)|Aug 1, 2019

Computational and Text Analysis Methods被引用数 12

ひとこと要約

本研究では、Apple Newsを社会技術的ニュースキュエーションシステムとして分析するための監査フレームワークを開発・適用した。アルゴリズムによるキュレーション「トレンドストーリー」と、編集者がキュレーションする「トップストーリー」を比較した。結果として、アルゴリズム部門では個人化やローカリゼーションがほとんど見られず、出典の集中度が高く、『ソフトニュース』の割合も編集部門よりも多かった。一方、編集部門は出典の多様性と均等性がより高いことが明らかになった。

ABSTRACT

This work presents an audit study of Apple News as a sociotechnical news curation system that exercises gatekeeping power in the media. We examine the mechanisms behind Apple News as well as the content presented in the app, outlining the social, political, and economic implications of both aspects. We focus on the Trending Stories section, which is algorithmically curated, and the Top Stories section, which is human-curated. Results from a crowdsourced audit showed minimal content personalization in the Trending Stories section, and a sock-puppet audit showed no location-based content adaptation. Finally, we perform an extended two-month data collection to compare the human-curated Top Stories section with the algorithmically curated Trending Stories section. Within these two sections, human curation outperformed algorithmic curation in several measures of source diversity, concentration, and evenness. Furthermore, algorithmic curation featured more "soft news" about celebrities and entertainment, while editorial curation featured more news about policy and international events. To our knowledge, this study provides the first data-backed characterization of Apple News in the United States.

研究の動機と目的

• アルゴリズム的ニュースキュエーションシステムの監査のための概念的フレームワークを構築すること。主な焦点は、メカニズム、コンテンツ、消費行動に向けられる。
• 月間8500万人以上のユーザーを持つ主要なニュース仲介者としてのApple Newsのガートキーピング（門松）権力を探る。
• 出典の多様性、集中度、コンテンツタイプの観点から、アルゴリズム的（トレンドストーリー）と編集的（トップストーリー）キュレーションを比較すること。
• 混合手法によるデータ収集を用いて、Apple Newsにおける個人化とローカリゼーションを評価すること。
• 将来のアルゴリズム的ニュースプラットフォーム研究のための再現可能な監査手法を提供すること。

提案手法

• 複数の時間帯とユーザー・プロファイルを対象に、Apple Newsのコンテンツスクリーンショットを収集するクラウドソーシングによる監査を実施した。
• 正確な時刻同期を伴うソック・パペット（仮想アカウント）シミュレーションを用いて、個人化およびローカリゼーション効果の有無をテストした。
• 自動化されたAppiumベースのスクレイピングを用いた2か月にわたる延長データ収集により、時間経過に伴うコンテンツ変化をモニタリングした。
• 公開APIが利用できないという制限を補うために、クラウドソーシング、ソック・パペット、スクレイピングの手法を統合し、データの一貫性を確保した。
• キュエーションメカニズム（例：チェンジレート、適応性）とコンテンツ出力（例：出典の多様性、トピック分布）を分析する概念的監査フレームワークを適用した。
• 出典の集中度、均等性、多様性インデックスなどの定量的指標を用いて、編集的キュエーションとアルゴリズム的キュエーションを比較した。

実験結果

リサーチクエスチョン

• RQ1 Apple Newsのトレンドストーリー部門は、ユーザーのプロファイルや位置情報に基づいて、どの程度コンテンツを個人化しているのか。
• RQ2 Apple Newsにおける編集的キュエーションとアルゴリズム的キュエーションのプロセスは、出典の多様性、集中度、コンテンツタイプの観点からどのように異なるのか。
• RQ3 アルゴリズム的トレンドストーリー部門は、人間によるキュエーションのトップストーリーと比較して、時間的バイアスやフィルターバブル効果を示しているのか。
• RQ4 透明性が低くAPI制限のあるニュースキュエーションプラットフォームを監査するにあたり、どの方法論が最も効果的か。
• RQ5 Apple Newsのメカニズムとコンテンツは、デジタルメディアにおける広範な社会技術的ガートキーピングのダイナミクスをどのように反映しているのか。

主な発見

• トレンドストーリー部門では、ソック・パペットアカウントを用いても、個人化や場所に基づく適応の兆候がほとんど認められなかった。
• トレンドストーリーにおけるアルゴリズム的キュエーションメカニズムは、人間によるキュエーションのトップストーリー部門と比較して、顕著に高い出典集中度を示した。
• トップストーリー部門は、より高い出典の均等性と多様性を示し、幅広いニュース出典とトピックをカバーしていた。
• トレンドストーリー部門では、有名人、エンタメ、芸術関連の『ソフトニュース』の割合が顕著に高く、政策や国際的ニュースに比べて過剰に含まれていた。
• 2か月にわたる延長データ収集により、両部門間におけるコンテンツ構成の持続的差異が確認され、編集キュエーションがハードニュースを好む傾向であることが示された。
• クラウドソーシング、ソック・パペット、スクレイピングを統合したハイブリッド監査アプローチは、プラットフォームへのアクセス制限を補い、データの信頼性を確保する上で効果的であった。