[논문 리뷰] Overcoming Failures of Imagination in AI Infused System Development and Deployment

Margarita Boyarskaya, Alexandra Olteanu외 1명|arXiv (Cornell University)|2020. 11. 26.

Ethics and Social Impacts of AI참고 문헌 35인용 수 19

한 줄 요약

이 논문은 체크리스트 기반 영향 평가를 넘어서, 이해관계자 포함 및 맥락 인식 기반 프레임워크를 통해 인공지능 시스템 개발에서의 '상상력의 실패' 문제를 다룹니다. 사회기술적 가능성을 통합하고 다양한 이해관계자, 더 넓은 손해 지표를 포함함으로써 AI 시스템에서의 뜻하지 않은 결과를 더 잘 예측할 수 있도록 제안합니다.

ABSTRACT

NeurIPS 2020 requested that research paper submissions include impact statements on "potential nefarious uses and the consequences of failure." However, as researchers, practitioners and system designers, a key challenge to anticipating risks is overcoming what Clarke (1962) called 'failures of imagination.' The growing research on bias, fairness, and transparency in computational systems aims to illuminate and mitigate harms, and could thus help inform reflections on possible negative impacts of particular pieces of technical work. The prevalent notion of computational harms -- narrowly construed as either allocational or representational harms -- does not fully capture the open, context dependent, and unobservable nature of harms across the wide range of AI infused systems.The current literature focuses on a small range of examples of harms to motivate algorithmic fixes, overlooking the wider scope of probable harms and the way these harms might affect different stakeholders. The system affordances may also exacerbate harms in unpredictable ways, as they determine stakeholders' control(including of non-users) over how they use and interact with a system output. To effectively assist in anticipating harmful uses, we argue that frameworks of harms must be context-aware and consider a wider range of potential stakeholders, system affordances, as well as viable proxies for assessing harms in the widest sense.

연구 동기 및 목표

• 사전에 예측할 수 없는 경우가 많은 인공지능 시스템의 해로운 사용을 예측하는 데 있어 지속적인 '상상력의 실패' 문제를 해결하기 위해.
• 현재의 영향 평가 관행—특히 NeurIPS의 보다 넓은 사회적 영향 서술—의 한계를 비판하며, 좁은 범위의 지침식 체크리스트에 의존하고, 손해의 체계적이고 맥락적 차원을 간과한다는 점을 지적하기 위해.
• 기존의 손해 프레임워크(예: 할당적 또는 대표성 손해)가 인공지능 융합 시스템에서 발생하는 개방적이고 맥락에 따라 달라지며 종종 관찰되지 않는 성격의 손해를 포괄하기에 부족하다고 주장하기 위해.
• 위험 예측의 상상력 범위를 넓히기 위해 다학제적 협업, 반성적 실천, 취약한 이해관계자의 포함이 설계 및 평가 과정에서 필수적이라는 점을 강조하기 위해.
• 기술 중심의 체크리스트 기반 영향 서술에서 벗어나, 시스템 가능성, 이해관계자 주도성, 변화하는 사회기술적 역학을 고려하는 더 유연하고 맥락 민감한 프레임워크로의 전환을 제안하기 위해.

제안 방법

• 2020년 NeurIPS 논문 20편의 보다 넓은 영향 서술문을 분석하여, 손해가 어떻게 예측되고 전달되는지에 대한 반복적 패턴과 한계를 규명하기 위해.
• 비판 이론, 책임 있는 혁신, 기술 평가 이론을 바탕으로, 이분법적 또는 체크리스트 기반의 손해 분류 방식을 넘어서는 프레임워크를 개발하기 위해.
• 시스템 설계가 이해관계자 통제력과 상호작용 방식을 어떻게 형성하는지 이해하기 위해 '사회기술적 가능성' 개념을 도입하여 손해 잠재력에 영향을 미치는 시각을 제공하기 위해.
• 특히 일반 목적의 인공지능 모델에서 기술 중립성과 선량성에 대한 가정을 도전하는 반성적 실천을 주장하기 위해.
• 인간행동학자, 윤리학자 등 도메인 전문가와 영향을 받는 이해관계자를 AI 개발 전 과정에 통합하여 상상 가능한 손해의 범위를 넓히기 위해 제안하기 위해.
• 직접적 결과 외에도 간접적, 누적적, 정서적 영향(예: 정서적 고통, 자율성 상실, 구조적 불평등)을 포함하여 손해 평가를 재정의하기 위해.

실험 결과

연구 질문

• RQ1 현재 인공지능 연구의 보다 넓은 영향 서술은 상상력의 한계와 이해관계자 포함 부족으로 인해 복잡하고 맥락에 의존하는 손해를 어떻게 제대로 예측하지 못하는가?
• RQ2 할당적 또는 대표성 손해와 같은 현행 손해 유형 분류 체계는 인공지능 시스템에서 발생할 수 있는 잠재적 부정적 영향의 전반적인 스펙트럼을 얼마나 잘 포괄하는가?
• RQ3 시스템 가능성이 손해의 발생 가능성과 성격에 어떻게 영향을 미치며, 특히 이해관계자 통제력과 주도성과의 관계에서 어떤 역할을 하는가?
• RQ4 인공지능 연구에서 기술 중립성과 선량성에 대한 가정은 영향 평가의 빈도에 어떤 영향을 미치며, 어떤 맹점이 발생하는가?
• RQ5 다양한 이해관계자 경험에 더 민감하고 반성적이며 유연한 방식으로 반응하는 손해 예측을 위해 어떤 구조적 및 방법론적 변화가 필요한가?

주요 결과

• Ne르피스 2020의 많은 보다 넓은 영향 서술문은 동적인, 맥락 기반의, 종종 관찰되지 않는 성격의 인공지능 손해를 고려하지 못하는 좁은 체크리스트 중심의 접근 방식을 반영하고 있다.
• 일반 목적의 모델—예를 들어 감성 분류기—에서의 기술 중립성 가정은 사회기술적 맥락을 고려하지 않은 채 재사용될 경우 예상치 못한 해로운 응용을 초래할 수 있다.
• 시스템 가능성이 이해관계자가 인공지능 출력물과 상호작용하는 방식을 크게 좌우하며, 비사용자나 소외된 집단의 경우 통제력을 제한함으로써 손해를 악화시킬 수 있다.
• 현재의 영향 평가 관행은 취약한 이해관계자를 종종 간과하여, 특히 정서적 또는 구조적 불평등과 관련된 예상 가능한 손해를 식별하지 못하는 데에 맹점이 있다.
• 영향 평가 과정에서 포함성, 반성성, 반응성의 결여는 실제 세계의 피해를 방지하는 데 있어 보다 넓은 영향 서술문의 효과성을 떨어뜨린다.
• 현재의 지침식 또는 제한적인 체크리스트로는 달성할 수 없는 상상력의 범위를 넓히기 위해 맥락 인식 기반, 이해관계자 중심의 프레임워크로의 전환이 필수적이다.