[论文解读] Ah, that's the great puzzle: On the Quest of a Holistic Understanding of the Harms of Recommender Systems on Children

Robin Ungruh, Maria Soledad Pera|arXiv (Cornell University)|May 3, 2024

Ethics and Legal Issues in Pediatric HealthcareMedicine被引用 3

一句话总结

本文立场论文主张采用整体性、跨学科的方法，以理解并减轻推荐系统（RS）对儿童造成的伤害。论文强调，由于缺乏针对儿童的设计、成熟度评级和算法透明度，主要为成人设计的推荐系统常常使儿童接触到发展上不适当或有害的内容。其核心贡献在于呼吁研究人员、从业者和政策制定者共同开发以儿童为中心的推荐系统框架，通过细致入微、情境感知的伤害检测方式，超越传统的成熟度评级，优先考虑儿童福祉。

ABSTRACT

Children come across various media items online, many of which are selected by recommender systems (RS) primarily designed for adults. The specific nature of the content selected by RS to display on online platforms used by children - although not necessarily targeting them as a user base - remains largely unknown. This raises questions about whether such content is appropriate given children's vulnerable stages of development and the potential risks to their well-being. In this position paper, we reflect on the relationship between RS and children, emphasizing the possible adverse effects of the content this user group might be exposed to online. As a step towards fostering safer interactions for children in online environments, we advocate for researchers, practitioners, and policymakers to undertake a more comprehensive examination of the impact of RS on children - one focused on harms. This would result in a more holistic understanding that could inform the design and deployment of strategies that would better suit children's needs and preferences while actively mitigating the potential harm posed by RS; acknowledging that identifying and addressing these harms is complex and multifaceted.

研究动机与目标

• 考察为成人设计的推荐系统（RS）因内容筛选不匹配，对儿童数字福祉构成的风险。
• 突出当前成熟度评级系统在捕捉细微或非显性伤害（如刻板印象、错误信息或发展不适宜性）方面的局限性。
• 呼吁采用跨学科、系统层面的方法，识别并减轻各类领域（如视频、音乐、社交媒体）中与推荐系统相关的伤害。
• 倡导研究人员、开发者、设计师与政策制定者之间的协作，以构建优先考虑儿童发展需求与安全的推荐系统。
• 提出需要一个全面框架，综合考虑儿童的认知发展、内容领域及推荐系统中的算法行为，以支持决策制定。

提出的方法

• 对现有推荐系统架构及其在儿童常用平台（如YouTube Kids、Netflix、TikTok）中的部署进行批判性反思。
• 分析推荐系统在塑造儿童内容发现路径中的作用，特别是在为未成年人提供有限搜索功能的平台中。
• 评估人工策划的成熟度评级（如MPA、TVPG）在捕捉非显性伤害（如刻板印象、错误信息或心理影响）方面的局限性。
• 探讨在用户生成内容平台中实现自动化伤害检测所面临的挑战，包括内容体量、多样性及情境敏感性。
• 提出一种多维框架，通过整合儿童发展阶段、内容领域与算法行为，评估推荐系统的伤害。
• 倡导开展涉及技术、心理学与政策视角的跨领域协作研究，以构建面向儿童的负责任推荐系统。

实验结果

研究问题

• RQ1 即使未明确针对儿童，成人导向的推荐系统如何使其暴露于发展上不适当或有害的内容？
• RQ2 当前成熟度评级系统在多大程度上无法捕捉到如刻板印象、错误信息或心理影响等细微或非显性伤害？
• RQ3 内容领域（如电子游戏与电影或社交媒体）如何影响推荐内容对儿童造成的感知与实际伤害？
• RQ4 在算法透明度与儿童特定设计方面存在哪些关键缺口，导致难以有效减轻儿童推荐系统中的伤害？
• RQ5 研究人员、从业者与政策制定者如何协作，共同开发一个整体性、跨学科的框架，以评估和减轻推荐系统对儿童造成的伤害？

主要发现

• 推荐系统频繁使儿童接触到并非为其发展阶段所设计的内容，即使平台声称提供儿童安全环境。
• 尽管广泛使用，成熟度评级仍不足以捕捉媒体中非显性伤害，如性别刻板印象、错误信息或心理操控。
• 缺乏针对用户生成内容（如YouTube或TikTok）的标准化、自动化伤害检测机制，严重限制了儿童安全措施的可扩展性。
• 儿童的认知与情感发展存在显著差异，仅靠年龄分级无法充分评估内容的适宜性或潜在伤害。
• 内容领域（如互动电子游戏与被动视频观看）可能显著改变推荐媒体的感知与实际伤害程度。
• 迫切需要一种跨学科、系统层面的方法，整合发展心理学、算法透明度与政策设计，以构建更安全的儿童推荐系统。