[논문 리뷰] Reviewable Automated Decision-Making: A Framework for Accountable Algorithmic Systems

Jennifer Cobbe, Michelle Seng Ah Lee외 1명|arXiv (Cornell University)|2021. 01. 26.

Ethics and Social Impacts of AI인용 수 16

한 줄 요약

이 논문은 기계 학습 기반 자동 결정 부여(ADM)의 책임성 향상을 위해 전체 ADM 수명 주기 동안 기술적 및 조직적 요소를 체계적으로 기록함으로써 법적으로 기반을 두고 통합된 '검토 가능성(reviewability)' 프레임워크를 도입한다. 영국 행정법의 원칙을 응용함으로써 개별 결정과 더불어 전체 결정보다 과정에 대한 의미 있는 검토를 가능하게 하여 공공 및 민간 부문에서 법적으로 관련성이 있는 투명성과 감시를 위한 실질적인 길을 제시한다.

ABSTRACT

This paper introduces reviewability as a framework for improving the accountability of automated and algorithmic decision-making (ADM) involving machine learning. We draw on an understanding of ADM as a socio-technical process involving both human and technical elements, beginning before a decision is made and extending beyond the decision itself. While explanations and other model-centric mechanisms may assist some accountability concerns, they often provide insufficient information of these broader ADM processes for regulatory oversight and assessments of legal compliance. Reviewability involves breaking down the ADM process into technical and organisational elements to provide a systematic framework for determining the contextually appropriate record-keeping mechanisms to facilitate meaningful review - both of individual decisions and of the process as a whole. We argue that a reviewability framework, drawing on administrative law's approach to reviewing human decision-making, offers a practical way forward towards more a more holistic and legally-relevant form of accountability for ADM.

연구 동기 및 목표

• 기계 학습을 포함한 자동 및 알고리즘 기반 결정 부여(ADM)의 책임성 확보를 위해 모델 중심 설명의 한계를 해결하기 위해.
• 모델 해석 가능성 이상의 범위로 사전 결정 및 사후 결정 단계를 포함하는 체계적이고 과정 중심의 ADM 책임성 접근법을 개발하기 위해.
• 영국 행정법의 원칙—결정 과정에 대한 사법 심사에 초점을 맞춰—공공 및 민간 부문의 알고리즘 시스템에 적용하기 위해.
• 감시 기관, 규제 기관, 영향을 받는 개인이 ADM 시스템을 의미 있게 검토할 수 있도록 지원하는 맥락에 적합한 기록 보존 메커니즘을 특정하기 위해.
• 기술적 투명성과 법적 준수 사이의 격차를 메우기 위해 조직적, 절차적, 기술적 기록을 통합한 통합된 책임성 프레임워크를 구축하기 위해.

제안 방법

• 프레임워크는 ADM를 기술적 요소와 조직적 요소로 분해하여 인간의 행동과 결정을 체계적인 조직적 과정의 일부로 간주한다.
• 결정 과정이 결정 이전부터 결과 및 검토 단계까지 연속적인 과정임을 영국 행정법의 이해에 기반으로 한다.
• 검토 가능성은 각 ADM 시스템의 맥락, 목적, 이해관계자에 맞게 조정된 로깅 및 기록 보존 메커니즘을 통해 실천된다.
• 일관된 로깅 및 정보 추출을 위해 기존의 도구 및 표준(예: 결정보편, 기술 툴킷)을 통합한다.
• 감시 기관 및 규제 기관이 규제 프레임워크 하에서 실질적으로 '검토 가능한' 정보의 기준을 설정하는 데 기여할 수 있도록 제안한다.
• 변화하는 맥락과 해석에 따라 투명성이 진화해야 한다는 점을 고려해 반복적이고 지속적인 검토 과정을 지원한다.

실험 결과

연구 질문

• RQ1 자동 결정 부여 시스템은 모델 설명 및 해석 가능성 이상의 차원에서 어떻게 의미 있는 책임성을 확보할 수 있는가?
• RQ2 ADM 과정의 전체 수명 주기 동안 효과적인 검토를 가능하게 하기 위해 필요한 조직적 및 기술적 기록은 무엇인가?
• RQ3 영국 행정법의 원칙은 다양한 부문에서 알고리즘 시스템의 법적 및 규제적 감시를 지원하기 위해 어떻게 적응될 수 있는가?
• RQ4 검토 가능성은 개인 결정 검토와 체계적 평가를 모두 지원하는 맥락에 적합한 투명성을 어떻게 보장할 수 있는가?
• RQ5 기술 툴킷과 표준화된 로깅 포맷은 검토 가능한 ADM를 위한 일관되고 유용한 기록 보존을 어떻게 지원할 수 있는가?

주요 결과

• 검토 가능성은 모델 수준의 설명을 넘어서 전체 사회기술적 ADM 과정까지 책임성을 확장하는 체계적이고 통합적인 프레임워크를 제공한다.
• 기술적 및 조직적 기록을 통합함으로써 검토 가능성은 감시 기관이 개별 결정과 체계적 결정보다 품질을 평가할 수 있도록 한다.
• 프레임워크는 행정법에 기반하여 법적으로 관련성 있고 실용적인 책임성 접근법을 제공하며, 공공 및 민간 부문 전반에 적용 가능하다.
• 강력한 검토 가능성에도 불구하고, 투명성만으로는 권력 불균형이나 사업 모델의 역학적 문제와 같은 구조적 문제를 해결할 수 없으며, 이를 보완하는 책임성 메커니즘이 필요함을 시사한다.
• 조직이 실천 가능한 조치를 취할 수 있도록 프레임워크는 맥락에 맞는 기록 보존, 표준화된 공개 포맷, 로깅 및 검색을 지원하는 기술 툴링을 제안한다.
• 검토 가능성은 만능은 아니지만, ADM 설계자 및 운영자의 가정, 결정, 우선순위를 포괄함으로써 더 나은 검토 및 준수 평가를 가능하게 하여 중요한 격차를 메운다.