[논문 리뷰] A Methodology for Creating AI FactSheets

John T. Richards, David Piorkowski외 3명|arXiv (Cornell University)|2020. 06. 24.

Ethics and Social Impacts of AI참고 문헌 8인용 수 6

한 줄 요약

이 논문은 고위험 AI 응용 분야에서 투명성, 신뢰성, 책임성을 향상시키기 위해 AI 모델 및 서비스에 대한 종합적이고 맞춤형 문서화인 AI FactSheets를 제작하기 위한 일곱 단계 방법론을 제시한다. AI 생명주기 전반에 걸쳐 다양한 이해관계자를 참여시켜 소비자 요구에 맞게 내용을 조정함으로써, 일관되고 실행 가능한 문서화를 가능하게 하여 윤리적 AI 도입과 리스크 완화를 지원한다.

ABSTRACT

As AI models and services are used in a growing number of highstakes areas, a consensus is forming around the need for a clearer record of how these models and services are developed to increase trust. Several proposals for higher quality and more consistent AI documentation have emerged to address ethical and legal concerns and general social impacts of such systems. However, there is little published work on how to create this documentation. This is the first work to describe a methodology for creating the form of AI documentation we call FactSheets. We have used this methodology to create useful FactSheets for nearly two dozen models. This paper describes this methodology and shares the insights we have gathered. Within each step of the methodology, we describe the issues to consider and the questions to explore with the relevant people in an organization who will be creating and consuming the AI facts in a FactSheet. This methodology will accelerate the broader adoption of transparent AI documentation.

연구 동기 및 목표

• AI 시스템의 투명성에 대한 수요가 증가하는 상황에서도 표준화되고 실행 가능한 AI 문서화 방법론의 부족을 해결하기 위해.
• 데이터에서 배포에 이르기까지 전 생애주기 동안 AI 사실을 수집하고 구조화하는 데 있어 실용적 지침의 격차를 극복하기 위해.
• 기업 및 규제 기관이 윤리적, 법적, 안전성 평가를 지원할 수 있도록 일관되고 소비자 중심의 FactSheets를 제작할 수 있도록 하기 위해.
• 사용자 중심 설계 원칙과 이해관계자 참여를 통합하여 투명한 AI 문서화의 광범위한 도입을 촉진하기 위해.
• 개별 AI 모델뿐만 아니라 종합적인 AI 서비스도 고려하여, 서비스가 개별 모델을 초월한 리스크를 유발할 수 있음을 인식하고 문서화를 지원하기 위해.

제안 방법

• 사용자 중심 설계 접근법을 채택하여 초기 단계부터 제작자, 소비자, 검증자 등 다양한 이해관계자를 참여시켜 FactSheet 요구사항을 정의한다.
• 일곱 단계 방법론을 구현한다: (1) 이해관계자 및 사용 사례 식별, (2) 소비자 및 제작자 요구사항 수집, (3) FactSheet 범위 및 대상 설정, (4) 생애주기 역할에서 사실 정보 수집, (5) 구조화된 템플릿을 사용한 FactSheet 초안 작성, (6) 이해관계자 검증, (7) 시간이 지남에 따라 FactSheet 유지 및 업데이트.
• 특정 용도(예: 모델 카탈로그, AI 윤리 심의위원회)에 맞게 조정 가능한 FactSheet 템플릿을 개발하여 대상 청중에 대한 관련성을 확보한다.
• 사업 주체, 데이터 과학자, 모델 검증자, 개인정보 보호 책임자 등 AI 생애주기 전반의 다양한 역할에서의 입력을 통합하여 사실의 정확성과 완전성을 확보한다.
• 편향, 공정성, GDPR 준수, 대역간 강성, 입력 강성 등에 관한 질문을 통합하여 윤리적 및 안전성 리스크를 드러낸다.
• 소비자 및 규제 요구사항의 변화에 맞게 반복적으로 개선할 수 있도록 피드백 메커니즘을 구축한다.

실험 결과

연구 질문

• RQ1 다양한 AI 시스템에서 일관되고 신뢰할 수 있으며 실행 가능한 AI FactSheets를 제작하기 위한 체계적인 방법론은 어떻게 개발될 수 있는가?
• RQ2 이해관계자 참여와 사용자 중심 설계가 소비자 요구를 충족시키기 위해 FactSheet의 내용과 형식을 어떻게 결정짓는가?
• RQ3 인터페이스 및 리스크 프ofile의 차이가 있는 상황에서 FactSheets는 어떻게 개별 AI 모델과 복합 AI 서비스를 효과적으로 문서화할 수 있는가?
• RQ4 편향 및 대역간 취약성과 같은 윤리적, 법적, 안전성 리스크를 식별하고 완화하는 데 FactSheets는 어떤 방식으로 기여할 수 있는가?
• RQ5 AI 생애주기 전반에 걸쳐 FactSheets가 정확하고 최신 상태이며 유용하게 유지되기 위해 필수적인 구조적 및 절차적 요소는 무엇인가?

주요 결과

• 이 방법론은 약 스무두 개의 모델 및 서비스에 대해 유용한 FactSheets를 성공적으로 제작하여 다양한 AI 시스템에 대한 실용적 적용 가능성을 입증했다.
• 모델 카탈로그 사용자나 AI 윤리 심의위원회 등 특정 청중을 고려한 FactSheets는 내용과 형식이 달라져 관련성과 사용성의 향상을 이뤘다.
• 다양한 이해관계자를 FactSheet 제작 과정에 참여시킴으로써, 편향 및 데이터 프라이버시와 같은 민감한 주제에 대해 문서화된 사실의 정확성과 완전성이 크게 향상되었다.
• 분야 전문 테스트 질문을 통합함으로써, 실세계 입력 변동(예: 낮은 조도, 이국적인 시점)에 따른 성능 저하와 같은 이전에 간과된 리스크를 식별할 수 있었다.
• GDPR 준수, 데이터 처리, 공정성 평가 등 상세한 섹션을 포함한 FactSheets는 규제 및 윤리적 심의에 실질적인 통찰을 제공했다.
• FactSheet 개발 과정에서 반복적인 피드백 루프가 적용되어 특히 개인 정보나 사회적 영향을 미치는 고위험 사용 사례에서 명확성과 리스크 투명성 향상에 측정 가능한 개선 효과를 보였다.