[論文レビュー] Ah, that's the great puzzle: On the Quest of a Holistic Understanding of the Harms of Recommender Systems on Children

Robin Ungruh, Maria Soledad Pera|arXiv (Cornell University)|May 3, 2024

Ethics and Legal Issues in Pediatric HealthcareMedicine被引用数 3

ひとこと要約

本論文は、子供に対するレコメンデーションシステム（RS）の害を理解し、軽減するための包括的で多分野にわたるアプローチを主張している。RSは主に大人を対象に設計されており、子供向けの設計、成熟度評価、アルゴリズムの透明性が欠如しているため、発達段階に不適切または有害なコンテンツに子供がさらされやすい。主な貢献は、研究者、実務家、政策立案者が協働して、従来の成熟度評価を超えた洗練された文脈認識型害検出を可能にする、子供中心のRSフレームワークを構築するよう呼びかけることにある。

ABSTRACT

Children come across various media items online, many of which are selected by recommender systems (RS) primarily designed for adults. The specific nature of the content selected by RS to display on online platforms used by children - although not necessarily targeting them as a user base - remains largely unknown. This raises questions about whether such content is appropriate given children's vulnerable stages of development and the potential risks to their well-being. In this position paper, we reflect on the relationship between RS and children, emphasizing the possible adverse effects of the content this user group might be exposed to online. As a step towards fostering safer interactions for children in online environments, we advocate for researchers, practitioners, and policymakers to undertake a more comprehensive examination of the impact of RS on children - one focused on harms. This would result in a more holistic understanding that could inform the design and deployment of strategies that would better suit children's needs and preferences while actively mitigating the potential harm posed by RS; acknowledging that identifying and addressing these harms is complex and multifaceted.

研究の動機と目的

• 大人向けに設計されたレコメンデーションシステム（RS）が、コンテンツの適合性の不一致により、子供のデジタルの健康にどのようなリスクをもたらすかを検討すること。
• ステレオタイプ、誤情報、発達段階に不適切な内容といった、明示的でない害を捉えきれない現在の成熟度評価システムの限界を浮き彫りにすること。
• 多様な分野（例：動画、音楽、ソーシャルメディアなど）におけるRS関連の害を特定・軽減するための、多分野的でシステム論的アプローチを提唱すること。
• 研究者、開発者、デザイナー、政策立案者が協働して、子供の発達的ニーズと安全性を最優先に据えたRSを構築することを提唱すること。
• 子供の認知発達、コンテンツ分野、RS意思決定におけるアルゴリズム行動を考慮に入れた包括的フレームワークの必要性を位置づけること。

提案手法

• 子供に人気のあるプラットフォーム（例：YouTube Kids、Netflix、TikTok）における、既存のRSアーキテクチャの導入状況とその運用を批判的に検討すること。
• 特に、未成年者が検索機能が限られているプラットフォームにおいて、RSが子供のコンテンツ発見にどのように影響を与えるかを分析すること。
• 人間によるキュレート済み成熟度評価（例：MPA、TVPG）が、ステレオタイプや誤情報、心理的影響といった明示的でない害を捉えきれていないことの限界を評価すること。
• 量的・多様性・文脈依存性の高さから、ユーザーアイズドコンテンツプラットフォームにおける自動害検出の課題を検討すること。
• 子供の発達段階、コンテンツ分野、アルゴリズム行動を統合することで、RS害を多角的に評価するフレームワークを提言すること。
• 技術的、心理的、政策的視点を統合した、分野横断的で協働的な研究を推進し、子供のための責任あるRSを構築することを提唱すること。

実験結果

リサーチクエスチョン

• RQ1 大人向けに設計されたレコメンデーションシステムは、明示的に子供を標的としていない場合でも、発達段階に不適切または有害なコンテンツを子供にさらすメカニズムは何か？
• RQ2 ステレオタイプ、誤情報、心理的影響といった、明示的でない害を捉えきれない現在の成熟度評価システムの限界はどの程度か？
• RQ3 コンテンツの分野（例：ゲーム vs. 映画 vs. ソーシャルメディア）が、子供が受けるとされる害や実際の害にどのように影響するか？
• RQ4 アルゴリズムの透明性と子供向けに特化した設計の欠如が、RSにおける害軽減を妨げる主なギャップは何か？
• RQ5 研究者、実務家、政策立案者が協働して、子供のRS関連の害を評価・軽減する包括的で多分野にわたるフレームワークをどのように構築できるか？

主な発見

• レコメンデーションシステムは、子供向けの安全な環境を提供すると主張するプラットフォームであっても、発達段階に不適切なコンテンツを頻繁に子供に提示している。
• 成熟度評価は広く用いられているが、メディアにおけるジェンダーのステレオタイプ、誤情報、心理的操作といった明示的でない害を捉えきれていない。
• ユーザーアイズドコンテンツ（例：YouTube や TikTok）における標準化された自動害検出メカニズムの欠如は、子供のためのスケーラブルな安全対策を著しく制限している。
• 子供の認知的・感情的発達は著しく異なるため、年齢ベースの評価だけではコンテンツの適切さや害の可能性を適切に評価できない。
• コンテンツ分野（例：インタラクティブなゲーム vs. 被動的な動画視聴）は、推奨されるメディアの受容される害や実際の害に顕著な影響を与えることがある。
• 発達心理学、アルゴリズムの透明性、政策設計を統合する多分野的でシステム論的なアプローチが、子供のためのより安全なRSを実現するために不可欠である。