[논문 리뷰] Hard Choices in Artificial Intelligence: Addressing Normative Uncertainty through Sociotechnical Commitments

Roel Dobbe, Thomas Krendl Gilbert외 1명|arXiv (Cornell University)|2019. 11. 20.

Ethics and Social Impacts of AI참고 문헌 3인용 수 4

한 줄 요약

이 논문은 민주적 이견을 인공지능 개발에 통합함으로써 인공지능 안전성의 규범적 불확실성을 해결하기 위한 사회기술적 약속 프레임워크를 제안한다. 루스 찬크의 직관적 비교 가능성 이론을 적용하여 설계, 훈련, 구현 단계에서의 가치 갈등을 식별하고, 기관적 구조, 가치 일치, 논의 채널을 포함한 공식적, 실질적, 논의적 약속을 제안하여 이해관계자 책임과 민주적 심의를 보장한다.

ABSTRACT

As AI systems become prevalent in high stakes domains such as surveillance and healthcare, researchers now examine how to design and implement them in a safe manner. However, the potential harms caused by systems to stakeholders in complex social contexts and how to address these remains unclear. In this paper, we explain the inherent normative uncertainty in debates about the safety of AI systems. We then address this as a problem of vagueness by examining its place in the design, training, and deployment stages of AI system development. We adopt Ruth Chang's theory of intuitive comparability to illustrate the dilemmas that manifest at each stage. We then discuss how stakeholders can navigate these dilemmas by incorporating distinct forms of dissent into the development pipeline, drawing on Elizabeth Anderson's work on the epistemic powers of democratic institutions. We outline a framework of sociotechnical commitments to formal, substantive and discursive challenges that address normative uncertainty across stakeholders, and propose the cultivation of related virtues by those responsible for development.

연구 동기 및 목표

• 인공지능 안전성의 규범적 불확실성을 해결하기 위해, 특히 감시 및 헬스케어와 같은 고위험 분야에서.
• 안전, 강건성, 복원력과 같은 모호한 개념이 이해관계자 간에 어떻게 다를 수 있는지 식별하기 위해.
• 민주적 심의와 이견을 인공지능 시스템 개발에 통합하기 위한 체계적 프레임워크를 제안하기 위해.
• 사용자가 시민과 소비자로서 '의견 제기'와 '탈퇴'를 모두 행사할 수 있도록 보장하는 공식적 약속을 체계화하기 위해.
• 사회기술적 약속을 인공지능 교육과 전문 실무에 통합할 것을 주장하기 위해.

제안 방법

• 루스 찬크의 직관적 비교 가능성 이론을 적용하여 인공지능 설계, 훈련, 구현 단계에서의 규범적 딜레마를 분석한다.
• 철학적 모델을 기반으로 규범적 불확실성을 모호성의 한 형태로 분류한다: 지식론적 결정론, 의미론적 불확정성, 비교 불가능성.
• 공식적(기관적 구조), 실질적(가치 일치), 논의적(심의 채널)의 세 가지 유형의 사회기술적 약속을 도입한다.
• 사용자 피드백과 이견을 위한 메커니즘을 제안하며, 데이터 사용의 공개적 정당화와 우려를 제기할 수 있는 투명한 채널을 포함한다.
• 구현 환경을 시장 기반(소비자 논리) 또는 정치 기반(시민 권리)으로 모델링하고, 둘 중 하나에 명시적인 약속이 필요로 한다.
• 사용자 탈퇴 권리와 의견 제기 메커니즘을 유지함으로써 공공 책임과 신뢰를 확보할 필요성을 강조한다.

실험 결과

연구 질문

• RQ1 다양한 이해관계자 시각에서 인공지능 시스템의 설계, 훈련, 구현 과정에서 규범적 불확실성이 어떻게 나타나는가?
• RQ2 보호, 강건성, 복원력과 같은 핵심 안전 개념의 모호성을 설명할 수 있는 철학적 프레임워크는 무엇인가?
• RQ3 민주적 기관과 인지적 덕목을 어떻게 활용하여 인공지능 개발에서의 가치 갈등을 해결할 수 있는가?
• RQ4 사용자 계약과 데이터 정책은 소비자 논리 또는 시민 논리로 어떻게 해석될 수 있으며, 이는 책임에 어떤 영향을 미치는가?
• RQ5 사회기술적 약속은 표현되지 않은 소수 집단이 시스템 사양에 묻힌 미표명된 도덕적 약속의 부담을 지지 않도록 보장하는 데 어떻게 기여하는가?

주요 결과

• 인공지능 안전성의 규범적 불확실성은 기술적 결함 때문이 아니라, 사회적 맥락에 따라 안전, 공정성, 복원성 등의 가치가 본질적으로 모호하기 때문이다.
• 직관적 비교 가능성 개념은 이해관계자들이 형식적 지표만으로는 해결할 수 없는 상호 비교 불가능한 가치 갈등에 직면하는 이유를 설명한다.
• 민주적 심의를 인공지능 개발 파이프라인에 통합하기 위해 공식적, 실질적, 논의적 사회기술적 약속이 제도화되어야 한다.
• 특히 공공 서비스나 감시 도구로 구현되는 인공지능 시스템에서는 '의견 제기'와 '탈퇴'를 동시에 유지하는 것이 공공 책임을 유지하는 데 필수적이다.
• Rekognition 사례는 사용자 계약이 개인 계약 또는 공적 보장으로 해석될 수 있으며, 이는 서로 다른 거버넌스 모델을 초래한다.
• 논문은 민주적 이견이 절차적 보완이 아니라, 인공지능 시스템이 변화하는 다원적 가치와 일치하도록 유지하기 위한 필수 조건임을 결론짓는다.