[논문 리뷰] FactSheets: Increasing Trust in AI Services through Supplier's Declarations of Conformity

Matthew Arnold, Rachel Bellamy외 11명|arXiv (Cornell University)|2018. 08. 22.

Ethics and Social Impacts of AI인용 수 8

한 줄 요약

이 논문은 AI 서비스의 성능, 안전성, 보안성, 기원 및 사용 제약 조건을 공개하는 표준화된, 공급업체가 발행하는 문서인 FactSheets를 제안한다. 다른 산업 분야의 공급업체의 적합성 선언서(SDoC)를 모델로 삼아, 구조화된 투명성을 통해 소비자가 배포 이전에 공정성, 내구성 및 윤리적 리스크를 평가할 수 있도록 한다.

ABSTRACT

Accuracy is an important concern for suppliers of artificial intelligence (AI) services, but considerations beyond accuracy, such as safety (which includes fairness and explainability), security, and provenance, are also critical elements to engender consumers' trust in a service. Many industries use transparent, standardized, but often not legally required documents called supplier's declarations of conformity (SDoCs) to describe the lineage of a product along with the safety and performance testing it has undergone. SDoCs may be considered multi-dimensional fact sheets that capture and quantify various aspects of the product and its development to make it worthy of consumers' trust. Inspired by this practice, we propose FactSheets to help increase trust in AI services. We envision such documents to contain purpose, performance, safety, security, and provenance information to be completed by AI service providers for examination by consumers. We suggest a comprehensive set of declaration items tailored to AI and provide examples for two fictitious AI services in the appendix of the paper.

연구 동기 및 목표

• 공정성, 내구성, 보안성과 같은 AI 서비스 특성에 대한 표준화되고 투명한 커뮤니케이션의 부재를 해결하기 위해.
• 서비스 특성에 대한 공통의 구조화된 인터페이스를 제공함으로써 AI 서비스 생산자와 소비자 개발자 간의 전문 지식 격차를 줄이기 위해.
• 문서화된 지표와 사용 시나리오를 통해 과도한 일반화 및 뜻하지 않은 사용의 위험을 소비자가 평가할 수 있도록 하기 위해.
• 기원, 훈련 데이터 기원, 배포 제약 조건을 포함하여 책임성과 감사 가능성을 증진하기 위해.
• 기존의 데이터 카드 및 모델 카드를 보완하는 자율적이고 확장 가능한 AI 서비스 투명성 프레임워크를 수립하기 위해.

제안 방법

• 공급업체의 적합성 선언서(SDoC)를 모델로 삼아 AI 서비스에 적합하게 조정한 FactSheet 템플릿을 설계하기 위해.
• 목적, 성능, 안전성(공정성, 설명 가능성, 내구성), 보안성(대역어 공격에 대한 저항성), 기원(훈련 데이터 및 모델 기원)을 포함하는 구조화된 섹션을 정의하기 위해.
• 각 섹션에 표준화된 선언 항목을 포함시키기 위해, 예를 들어 성능 지표, 편향 테스트 절차, 데이터 보관 정책 등을 포함하기 위해.
• 실제 적용과 완전성을 보여주기 위해 두 개의 가공된 AI 서비스에 대한 예시 FactSheets를 제공하기 위해.
• 공급업체의 자가 선언을 강조하며, 향후 버전에서 제3자 검증을 선택적으로 포함하기 위해.
• 성능 이탈 및 데이터 분포 변화를 감지하기 위한 피드백 메커니즘과 모니터링을 통합하기 위해.

실험 결과

연구 질문

• RQ1 AI 서비스 공급업체는 소비자에게 서비스의 안전성, 성능 및 보안 특성을 체계적으로 어떻게 소통할 수 있는가?
• RQ2 제3자 인증에 의존하지 않고도 AI 서비스의 투명성과 신뢰를 높일 수 있는 구조화되고 표준화된 형식은 무엇인가?
• RQ3 FactSheets는 AI 개발자와 AI 서비스를 사용하는 애플리케이션 개발자 간의 전문 지식 격차를 어떻게 해소할 수 있는가?
• RQ4 문서화된 사용 제약 조건과 테스트 시나리오를 통해 FactSheets는 AI 서비스의 오용 및 과도한 일반화를 어떻게 방지할 수 있는가?
• RQ5 기원, 데이터 기원, 모델 훈련 세부 정보는 AI 서비스의 감사 가능성과 책임성 향상에 어떤 역할을 하는가?

주요 결과

• FactSheets는 목적, 성능, 안전성, 보안성, 기원을 포함하는 포괄적이고 다차원적인 문서화 프레임워크를 제공한다.
• 제안된 FactSheet는 공정성, 설명 가능성, 대역어 공격에 대한 내구성 평가를 일관되게 수행할 수 있도록 표준화된 선언 항목을 포함한다.
• 성능 지표는 시간에 따라 추적되며, 분포 이탈 및 모델 열화를 감지할 수 있도록 한다.
• 보안 조치로는 데이터 암호화, 액세스 제어, 악성 피드백을 필터링하는 메커니즘이 포함되어 있으며, 14일간의 데이터 보관 정책을 적용한다.
• 혐오 발언이나 포르노그래피와 같은 윤리적으로 민감한 주제에 대해서는 구독을 차단하는 절차가 포함되어 있다.
• FactSheets는 공급업체의 자가 선언을 기반으로 하며, 향후 제3자 검증이 가능할 수 있도록 설계되었으며, 자율적이지만 확장 가능한 것을 목표로 한다.