[論文レビュー] Harms from Increasingly Agentic Algorithmic Systems

Alan Chan, Rebecca Salganik+20 more|arXiv (Cornell University)|Feb 20, 2023

Ethics and Social Impacts of AI被引用数 9

ひとこと要約

論文は、アルゴリズムシステムのエージェンシーを高める四つの特徴を定義し、そのようなシステムから生じる害を先見的に捉えることの重要性を主張し、エージェンシーの成長に伴う体系的・長距離的な害について論じる。さらに、開発・展開の推進要因を分析し、継続的な人間の責任を強調する。

ABSTRACT

Research in Fairness, Accountability, Transparency, and Ethics (FATE) has established many sources and forms of algorithmic harm, in domains as diverse as health care, finance, policing, and recommendations. Much work remains to be done to mitigate the serious harms of these systems, particularly those disproportionately affecting marginalized communities. Despite these ongoing harms, new systems are being developed and deployed which threaten the perpetuation of the same harms and the creation of novel ones. In response, the FATE community has emphasized the importance of anticipating harms. Our work focuses on the anticipation of harms from increasingly agentic systems. Rather than providing a definition of agency as a binary property, we identify 4 key characteristics which, particularly in combination, tend to increase the agency of a given algorithmic system: underspecification, directness of impact, goal-directedness, and long-term planning. We also discuss important harms which arise from increasing agency -- notably, these include systemic and/or long-range impacts, often on marginalized stakeholders. We emphasize that recognizing agency of algorithmic systems does not absolve or shift the human responsibility for algorithmic harms. Rather, we use the term agency to highlight the increasingly evident fact that ML systems are not fully under human control. Our work explores increasingly agentic algorithmic systems in three parts. First, we explain the notion of an increase in agency for algorithmic systems in the context of diverse perspectives on agency across disciplines. Second, we argue for the need to anticipate harms from increasingly agentic systems. Third, we discuss important harms from increasingly agentic systems and ways forward for addressing them. We conclude by reflecting on implications of our work for anticipating algorithmic harms from emerging systems.

研究の動機と目的

• アルゴリズムシステムにおけるエージェンシーの増大と関連する特徴を分野横断で特定する。
• エージェンシーが高まるシステムから生じる害を事前に捉える重要性を主張する。
• マージライズされた利害関係者に対する体系的・長期的影響を含む潜在的な害を議論する。
• 開発・展開の動向と人間の責任者を強調する。

提案手法

• AI、認知科学、社会学、プリンシパル・エージェント理論からエージェンシーに関する視点を総合する。
• 実務的な四基準のエージェンシー概念（未規定性、影響の直接性、目標指向性、長期計画）を提案する。
• 害と責任を区別するために現行のADMおよびFATE文献におけるエージェンシーを文脈化する。
• MLの開発・展開・出現するエージェンシーの動向をレビューし、先見的取り組みを正当化する。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズムシステムのエージェンシーを高める特徴は何か？
• RQ2 なぜエージェンシーが高まるシステムの害を予測することが重要なのか？
• RQ3 エージェンシーが増すときの主な害は何であり、どのように対処できるか？

主な発見

• MLシステムにおけるエージェンシーは、相互に関連する四つの特性（未規定性、影響の直接性、目標指向性、長期計画）で特徴づけられる。
• エージェンシーが高まるシステムの害を予測する必要がある。なぜなら、それらは体系的かつ長距離的な影響を及ぼす可能性があるからだ。
• エージェンシーの増大は、強化学習、オープンエンド環境、現実世界でのドメイン一般エージェントの展開と相関する。
• エージェンシーを推進するインセンティブは大きく、経済・軍事・科学的名声・規制の欠如・出現するエージェンシーなどが継続的な開発と展開を促進している。
• エージェンシーは人間の責任と異なるが、エージェンシーを認識することは人間の説明責任と統治責任を明確化・強化できる。
• エージェンシーに伴う害は、権力集中や遅延効果を含む、既存のADMおよびFATEの懸念と一致・拡張する。