[논문 리뷰] Harms from Increasingly Agentic Algorithmic Systems

Alan Chan, Rebecca Salganik외 20명|arXiv (Cornell University)|2023. 02. 20.

Ethics and Social Impacts of AI인용 수 9

한 줄 요약

이 논문은 알고리즘 시스템의 에이전시를 증가시키는 네 가지 특성을 정의하고, 이러한 시스템에서의 피해를 예측해야 한다는 주장을 제시하며, 에이전시가 커질 때의 체계적이고 장기적인 피해를 논의한다. 또한 개발 및 배치의 동인을 분석하고, 인간의 책임이 지속적으로 강조된다.

ABSTRACT

Research in Fairness, Accountability, Transparency, and Ethics (FATE) has established many sources and forms of algorithmic harm, in domains as diverse as health care, finance, policing, and recommendations. Much work remains to be done to mitigate the serious harms of these systems, particularly those disproportionately affecting marginalized communities. Despite these ongoing harms, new systems are being developed and deployed which threaten the perpetuation of the same harms and the creation of novel ones. In response, the FATE community has emphasized the importance of anticipating harms. Our work focuses on the anticipation of harms from increasingly agentic systems. Rather than providing a definition of agency as a binary property, we identify 4 key characteristics which, particularly in combination, tend to increase the agency of a given algorithmic system: underspecification, directness of impact, goal-directedness, and long-term planning. We also discuss important harms which arise from increasing agency -- notably, these include systemic and/or long-range impacts, often on marginalized stakeholders. We emphasize that recognizing agency of algorithmic systems does not absolve or shift the human responsibility for algorithmic harms. Rather, we use the term agency to highlight the increasingly evident fact that ML systems are not fully under human control. Our work explores increasingly agentic algorithmic systems in three parts. First, we explain the notion of an increase in agency for algorithmic systems in the context of diverse perspectives on agency across disciplines. Second, we argue for the need to anticipate harms from increasingly agentic systems. Third, we discuss important harms from increasingly agentic systems and ways forward for addressing them. We conclude by reflecting on implications of our work for anticipating algorithmic harms from emerging systems.

연구 동기 및 목표

• 학문 분야에 걸쳐 알고리즘 시스템에서 증가하는 에이전시와 관련된 특성 식별.
• 점진적으로 에이전트가 강화된 시스템으로부터의 피해를 선제적으로 예측해야 함을 주장.
• 에이전시 증가가 marginalized 이해관계자들에게 미치는 체계적이고 장기적인 영향 등 잠재적 피해를 논의.
• 개발/배치 동향과 인간 행위자의 책임을 강조한다.

제안 방법

• AI, 인지과학, 사회학, 그리고 프린시팔-에이전트 이론의 에이전시 관점을 종합한다.
• 실용적인 네 가지 기준으로 특징화된 에이전시 시스템의 practical four-criterion characterization(underspecification, directness of impact, goal-directedness, long-term planning)를 제안한다.
• 기존 ADM 및 FATE 문헌에서 에이전시를 맥락화하여 피해와 책임의 차별화를 시도한다.
• ML 개발, 배치, emergent agency의 추세를 검토하여 선제적 노력을 정당화한다.

실험 결과

연구 질문

• RQ1 알고리즘 시스템의 에이전시를 증가시키는 특성은 무엇인가?
• RQ2 에이전시가 증가하는 시스템에서 피해를 선제적으로 예측하는 것이 왜 중요한가?
• RQ3 에이전시가 증가할 때 예상되는 주요 피해는 무엇이며, 이를 어떻게 다룰 수 있는가?

주요 결과

• ML 시스템에서의 에이전시는 네 가지 상호 연결된 특성으로 정의될 수 있다: underspecification, directness of impact, goal-directedness, and long-term planning.
• 에이전시가 증가하면 체계적이고 장기적인 영향 가능성으로 인해 피해를 예측해야 할 필요가 있다.
• 에이전시 증가와 RL, 개방형 환경, 그리고 도메인 일반 에이전트의 실세계 배치 추세는 서로 연관되어 있다.
• 에이전시 시스템의 개발과 배치를 지속시키도록 하는 인센티브가 존재한다(경제적, 군사적, 과학적 명성, 규제의 부재, emergent agency).
• 에이전시는 인간의 책임과 구별되지만, 에이전시를 인식하는 것이 인간의 책임과 거버넌스의 책임을 명확히 하고 강화할 수 있다.
• 에이전시가 가져오는 피해는 기존의 ADM 및 FATE 문제의 확장과 일치하며, 권력 집중 및 파급 효과의 지연 등을 포함한다.