[논문 리뷰] Responsible AI Pattern Catalogue: A Collection of Best Practices for AI Governance and Engineering

Qinghua Lu, Liming Zhu외 4명|arXiv (Cornell University)|2022. 09. 12.

Ethics and Social Impacts of AI인용 수 5

한 줄 요약

이 논문은 다음의 다음의 다중 문헌 검토를 통해 유래된 체계적인 책임 있는 AI 패턴 카탈로그를 제시한다. 이는 거버넌스, 개발 프로세스, AI 시스템 설계 분야에서 실행 가능한, 체계적인 패턴을 제공한다. 이는 추상적인 AI 윤리 원칙과 실질적 구현 사이의 격차를 메우며, AI 전 주기 동안 구조화되고 재사용 가능한 솔루션을 제공한다.

ABSTRACT

Responsible AI is widely considered as one of the greatest scientific challenges of our time and is key to increase the adoption of AI. Recently, a number of AI ethics principles frameworks have been published. However, without further guidance on best practices, practitioners are left with nothing much beyond truisms. Also, significant efforts have been placed at algorithm-level rather than system-level, mainly focusing on a subset of mathematics-amenable ethical principles, such as fairness. Nevertheless, ethical issues can arise at any step of the development lifecycle, cutting across many AI and non-AI components of systems beyond AI algorithms and models. To operationalize responsible AI from a system perspective, in this paper, we present a Responsible AI Pattern Catalogue based on the results of a Multivocal Literature Review (MLR). Rather than staying at the principle or algorithm level, we focus on patterns that AI system stakeholders can undertake in practice to ensure that the developed AI systems are responsible throughout the entire governance and engineering lifecycle. The Responsible AI Pattern Catalogue classifies the patterns into three groups: multi-level governance patterns, trustworthy process patterns, and responsible-AI-by-design product patterns. These patterns provide systematic and actionable guidance for stakeholders to implement responsible AI.

연구 동기 및 목표

• 고위 윤리 원칙을 넘어서 실행 가능한 지침의 부족을 해결하기 위해.
• AI 윤리 원칙과 실질적 공학 구현 사이의 격차를 시스템 수준의 재사용 가능한 패턴에 중점을 두어 메우기 위해.
• 다양한 수준의 거버넌스, 신뢰할 수 있는 개발, 책임 있는 설계 기반 AI 시스템을 위한 구조화되고 증거 기반의 패턴을 이해관계자에게 제공하기 위해.
• 알고리즘 외 구성 요소를 포함한 소프트웨어 개발 전 주기 동안 책임 있는 AI를 구현하기 위해.
• AI 전문가, 엔지니어, 거버넌스 팀이 신뢰할 수 있는 AI를 구현할 수 있도록 종합적이고 재사용 가능한 지식 기반을 만들기 위해.

제안 방법

• 학술 문헌, 회색 문헌, 산업 자료에서 패턴를 수집하기 위해 다중 문헌 검토(Multivocal Literature Review, MLR)를 수행하였다.
• 식별된 패턴을 세 가지 카테고리로 분류하였다: 다수 수준의 거버넌스 패턴, 신뢰할 수 있는 프로세스 패턴, 책임 있는 AI 설계 기반 제품 패턴.
• 일致성과 사용 용이성을 위해 표준화된 패턴 구조(상황, 문제, 해결책, 이점, 단점, 관련 패턴, 알려진 사용 사례)를 적용하였다.
• 포괄적인 문헌 커버리지와 편향 감소를 위해 체계적인 키워드 검색과 스노우볼링 기법을 사용하였다.
• 이중 연구자 스크리닝과 일致성 검사를 통해 패턴 선택의 내적 타당성을 검증하였다.
• 실무자와 연구자들이 접근할 수 있는 공개 온라인 카탈로그를 구축하여 살아있는 지식 기반으로 활용하였다.

실험 결과

연구 질문

• RQ1 AI 개발 전 주기 전반에서 책임 있는 AI를 구현하기 위해 재사용 가능한 시스템 수준의 패턴은 무엇인가요?
• RQ2 알고리즘적 공정성과 개인정보 보호를 초월해 AI 윤리 원칙을 실행 가능한 실천으로 번역하는 방법은 무엇인가요?
• RQ3 시스템 공학 관점에서 신뢰할 수 있는 AI를 지원하는 주요 거버넌스, 프로세스, 제품 패턴은 무엇인가요?
• RQ4 기술적 및 비기술적 이해관계자가 AI 거버넌스 및 개발에서 모두 활용할 수 있도록 패턴를 어떻게 구성할 수 있을까요?
• RQ5 현재 책임 있는 AI를 위한 도구 및 지침에서 존재하는 격차는 무엇이며, 패턴 기반 접근 방식은 이를 어떻게 보완할 수 있을까요?

주요 결과

• 책임 있는 AI 패턴 카탈로그는 거버넌스, 프로세스, 제품의 세 핵심 카테고리에 걸쳐 100개 이상의 재사용 가능한 패턴을 식별하고 체계화하였다.
• 대부분의 기존 도구 및 프레임워크는 공정성, 개인정보 보호, 설명 가능성과 같은 모델 수준의 문제에 집중되어 있으며, 투명성, 책임성, 인간 중심가치 지원에 대한 지원은 제한적이다.
• 특히 윤리 원칙을 구체적인 공학 실천으로 연결하는 데 있어 거버넌스 및 개발 프로세스에 대한 시스템 수준의 지침 부족이 심각한 격차로 존재한다.
• 패턴 카탈로그는 결과 분석 및 알려진 사용 사례를 지원하는 구조화되고 증거 기반의 지식 기반을 제공하여 실용적 사용성을 향상시켰다.
• 연구는 많은 지침이 존재하지만, 대부분의 경우 일시적인, 산만하거나 특정 측면(예: 상호작용 설계 또는 모델 수준 윤리)에 국한되어 있어 종합적이고 시스템 수준의 접근이 필요하다는 점을 드러냈다.
• 카탈로그는 공개적으로 온라인에서 이용 가능하며, 산업적 검증을 위해 질문 은행 및 AI 리스크 평가 소프트웨어 등 도구에 통합되고 있다.