[논문 리뷰] Multisource AI Scorecard Table for System Evaluation

Erik Blasch, James Sung외 1명|arXiv (Cornell University)|2021. 02. 08.

Digital Transformation in Industry참고 문헌 37인용 수 22

한 줄 요약

이 논문은 정보기관 지침 203의 기반으로 유도된 표준화된 체크리스트인 다중원천 AI 스코어카드 테이블(MAST)을 소개한다. MAST는 출처, 불확실성, 일관성, 정확도, 시각화 등 다양한 측면에서 AI/ML 시스템을 평가하는 데 사용된다. 분석 전문 기법 원칙을 통합함으로써 MAST는 정책 준수, 투명성, 일관성, 신뢰성 있는 평가를 가능하게 하여 정부 및 산업 분야의 AI 시스템 평가에 구조화된 평가 기준과 세 가지 사례 연구를 제공한다.

ABSTRACT

The paper describes a Multisource AI Scorecard Table (MAST) that provides the developer and user of an artificial intelligence (AI)/machine learning (ML) system with a standard checklist focused on the principles of good analysis adopted by the intelligence community (IC) to help promote the development of more understandable systems and engender trust in AI outputs. Such a scorecard enables a transparent, consistent, and meaningful understanding of AI tools applied for commercial and government use. A standard is built on compliance and agreement through policy, which requires buy-in from the stakeholders. While consistency for testing might only exist across a standard data set, the community requires discussion on verification and validation approaches which can lead to interpretability, explainability, and proper use. The paper explores how the analytic tradecraft standards outlined in Intelligence Community Directive (ICD) 203 can provide a framework for assessing the performance of an AI system supporting various operational needs. These include sourcing, uncertainty, consistency, accuracy, and visualization. Three use cases are presented as notional examples that support security for comparative analysis.

연구 동기 및 목표

• AI/ML 시스템에 대한 투명성과 신뢰도를 향상시키기 위해 표준화된 평가 프레임워크를 개발하는 것.
• 정보기관 지침(ICD) 203 원칙—예를 들어 출처, 불확실성, 일관성 등—을 실제 적용 가능한 체크리스트로 변환하여 AI 시스템 평가에 활용하는 것.
• 분석 전문 기법 표준을 평가 과정에 통합함으로써 AI의 설명 가능성과 해석 가능성에 기여하는 것.
• 공공 및 민간 부문의 개발자와 사용자가 재사용 가능하고 정책 준수 기반의 도구를 제공하는 것.
• 다양한 운영 요구사항에 적합한 구조화된 기준을 통해 AI 시스템의 일관성 있는 검증 및 검증을 가능하게 하는 것.

제안 방법

• MAST 프레임워크는 출처, 불확실성 처리, 일관성, 정확도, 시각화 등의 핵심 원칙을 ICD 203에서 유도한다.
• 각 평가 기준은 AI 시스템 전반에 걸쳐 체계적으로 적용 가능한 체크리스트 형식으로 구체화된다.
• 분석 결정의 추적 가능성과 정당성 강조를 통해 인간 중심의 인식 원칙을 통합한다.
• 보안 및 비교 분석 맥락에서 MAST의 적용을 시연하기 위해 세 가지 개념적 사례 연구가 개발되었다.
• 다양한 AI 도구와 데이터 소스 간의 평가 차원을 표준화함으로써 시스템 간 비교를 지원한다.
• 평가 과정에 준수 및 이해관계자 공감대 확보를 통합함으로써 정책 일치를 가능하게 한다.

실험 결과

연구 질문

• RQ1 정보기관의 분석 전문 기법 표준은 비정보기관 분야의 AI/ML 시스템 평가에 어떻게 적응시킬 수 있는가?
• RQ2 다양한 응용 분야에서 AI 시스템 출력의 일관성, 투명성, 신뢰도를 확보하기 위해 필수적인 기준은 무엇인가?
• RQ3 표준화된 스코어카드는 AI 시스템의 검증 및 검증 과정을 어떻게 향상시킬 수 있는가?
• RQ4 MAST 프레임워크는 AI 의사결정 과정에서 설명 가능성과 해석 가능성에 어떻게 기여하는가?
• RQ5 통합 스코어카드 프레임워크 내에서 다중원천 데이터 통합은 체계적으로 어떻게 평가될 수 있는가?

주요 결과

• MAST는 투명성과 일관성을 향상시키는 표준화된, 정책 준수 기반의 프레임워크를 제공한다.
• 이 프레임워크는 출처, 불확실성, 일관성, 정확도, 시각화 등의 핵심 차원에서 AI 시스템의 체계적 평가를 가능하게 한다.
• 세 가지 개념적 사례 연구는 MAST가 보안 및 비교 분석 시나리오에서 실용적으로 적용될 수 있음을 시연한다.
• ICD 203 원칙을 스코어카드 형식으로 통합함으로써 이해관계자 공감대 확보 및 운영 기준 준수를 지원한다.
• 기존의 분석 전문 기법에 기반한 평가를 고착화함으로써 MAST는 해석 가능성과 설명 가능성 향상을 촉진한다.
• 다양한 시스템과 데이터 소스 간의 평가 기준을 표준화함으로써 AI 도구 간 의미 있는 비교를 지원한다.