[논문 리뷰] Ah, that's the great puzzle: On the Quest of a Holistic Understanding of the Harms of Recommender Systems on Children

Robin Ungruh, Maria Soledad Pera|arXiv (Cornell University)|2024. 05. 03.

Ethics and Legal Issues in Pediatric HealthcareMedicine인용 수 3

한 줄 요약

이 논문은 어린이의 디지털 웰빙에 미치는 추천 시스템(RS)의 해로움을 이해하고 완화하기 위해 통합적이고 다학제적 접근을 주장한다. RS는 주로 성인을 대상으로 설계되어 있어, 어린이 전용 설계, 성숙도 평가, 알고리즘 투명도의 부재로 인해 어린이가 발달 단계에 맞지 않거나 해로운 콘텐츠에 노출되는 경우가 많다. 주요 기여는 연구자, 전문가, 정책 입안자들이 협력하여 어린이 중심의 RS 프레임워크를 개발하여 전통적인 성숙도 평가를 넘어서는 세밀하고 맥락 인식형 해로움 탐지 기반의 웰빙을 우선시하는 것을 촉구하는 것이다.

ABSTRACT

Children come across various media items online, many of which are selected by recommender systems (RS) primarily designed for adults. The specific nature of the content selected by RS to display on online platforms used by children - although not necessarily targeting them as a user base - remains largely unknown. This raises questions about whether such content is appropriate given children's vulnerable stages of development and the potential risks to their well-being. In this position paper, we reflect on the relationship between RS and children, emphasizing the possible adverse effects of the content this user group might be exposed to online. As a step towards fostering safer interactions for children in online environments, we advocate for researchers, practitioners, and policymakers to undertake a more comprehensive examination of the impact of RS on children - one focused on harms. This would result in a more holistic understanding that could inform the design and deployment of strategies that would better suit children's needs and preferences while actively mitigating the potential harm posed by RS; acknowledging that identifying and addressing these harms is complex and multifaceted.

연구 동기 및 목표

• 어린이의 디지털 웰빙에 해로움을 줄 수 있는 성인 중심의 추천 시스템(RS)이 내용 커리에이션의 부적합성으로 인해 초래하는 위험을 검토하기 위해.
• 스테레오타입, 오락성 정보, 발달 부적합성과 같은 암시적 또는 명시적이지 않은 해로움을 포착하지 못하는 현재의 성숙도 평가 체계의 한계를 부각하기 위해.
• 다양한 분야(예: 영상, 음악, 소셜 미디어 등)에서 RS 관련 해로움을 식별하고 완화하기 위한 다학제적, 체계적 접근을 제안하기 위해.
• 연구자, 개발자, 디자이너, 정책 입안자 간의 협력을 통해 어린이의 발달적 필요와 안전을 우선시하는 RS를 구축하기 위해.
• 어린이의 인지 발달, 콘텐츠 영역, 알고리즘 행동을 RS 결정보다 고려하는 종합적 프레임워크의 필요성을 제시하기 위해.

제안 방법

• 어린이들이 주로 사용하는 플랫폼인 YouTube Kids, Netflix, TikTok 등에서 일반적으로 사용되는 기존 RS 아키텍처와 그 배포 방식에 대한 비판적 성찰을 수행한다.
• 검색 기능이 제한된 플랫폼에서 RS가 어린이의 콘텐츠 탐색 방식에 어떤 영향을 미치는지 분석한다.
• 인간이 수작업으로 평가하는 성숙도 평가(예: MPA, TVPG)가 성별 스테레오타입, 오락성 정보, 정서적 영향 등 명시적이지 않은 해로움을 포착하지 못하는 한계를 평가한다.
• 용량, 다양성, 맥락 민감도로 인해 사용자 생성 콘텐츠 플랫폼에서 자동 해로움 탐지의 과제를 탐색한다.
• 어린이 발달 단계, 콘텐츠 영역, 알고리즘 행동을 통합하여 다차원적 프레임워크를 제안하여 RS 해로움을 평가한다.
• 기술적, 심리적, 정책적 시각을 융합한 다분야 협업 연구를 통해 어린이를 위한 책임감 있는 RS를 구축하기 위한 조치를 주장한다.

실험 결과

연구 질문

• RQ1 성인 중심의 추천 시스템은 어린이를 명시적으로 대상으로 하지 않더라도, 발달 단계에 맞지 않거나 해로운 콘텐츠에 어떻게 노출시키는가?
• RQ2 현재의 성숙도 평가 체계는 미디어 콘텐츠에서 성별 스테레오타입, 오락성 정보, 정서적 영향 등 암시적 또는 명시적이지 않은 해로움을 어느 정도 포착하지 못하는가?
• RQ3 콘텐츠 영역(예: 비디오 게임 대비 영화 대비 소셜 미디어)은 추천된 콘텐츠의 인식된 해로움과 실제 해로움에 어떤 영향을 미치는가?
• RQ4 알고리즘 투명성과 어린이 전용 설계의 부족으로 인해 RS에서 어린이를 위한 해로움 완화가 효과적으로 이루어지지 않는 주요 격차는 무엇인가?
• RQ5 연구자, 전문가, 정책 입안자들이 협력하여 어린이의 RS 관련 해로움을 평가하고 완화하기 위한 통합적이고 다학제적 프레임워크를 어떻게 공동으로 개발할 수 있는가?

주요 결과

• 추천 시스템은 플랫폼이 어린이 안전 환경을 제공한다고 주장하더라도, 어린이의 발달 단계에 맞지 않는 콘텐츠에 자주 노출시키고 있다.
• 성숙도 평가가 널리 사용되고 있지만, 성별 스테레오타입, 오락성 정보, 정서적 조작과 같은 명시적이지 않은 해로움을 포착하는 데에는 부적절하다.
• 사용자 생성 콘텐츠 플랫폼(예: YouTube, TikTok)에 대해 표준화된 자동 해로움 탐지 메커니즘이 부족하여 어린이를 위한 안전 조치의 확장성이 심각하게 제한된다.
• 어린이의 인지적 및 정서적 발달은 상당히 다를 수 있어, 연령 기반 평가만으로는 콘텐츠의 적합성이나 해로움 가능성을 평가하기에는 부적절하다.
• 콘텐츠 영역—예를 들어 상호작용이 있는 비디오 게임과 수동적인 영상 소비—는 추천된 미디어의 인식된 해로움과 실제 해로움에 상당한 영향을 미칠 수 있다.
• 발달 심리학, 알고리즘 투명성, 정책 설계를 통합하는 다학제적이고 체계적인 접근이 어린이를 위한 더 안전한 RS를 만들기 위해 절실하게 필요하다.