[논문 리뷰] Adapting SQuaRE for Quality Assessment of Artificial Intelligence Systems

Hiroshi Kuwajima, Fuyuki Ishikawa|arXiv (Cornell University)|2019. 07. 31.

Adversarial Robustness in Machine Learning참고 문헌 8인용 수 4

한 줄 요약

이 논문은 기계학습 기반 AI 시스템의 품질 평가를 위한 ISO/IEC SQuaRE 프레임워크를 개선하여 유럽연합 집행위원회의 신뢰할 수 있는 AI를 위한 윤리 지침의 원칙을 통합한다. 이는 SQuaRE의 품질 특성 및 부특성에 대한 핵심 수정을 제안하며, 특히 재현성(Reproducibility)을 포함한 신뢰성 확장, 개인정보 보호(Privacy)를 부특성으로 추가하고, 책임성(Accountability)을 메타 수준에서 통합함으로써 전통적인 소프트웨어 메트릭을 초월한 AI 시스템 품질의 통합 평가를 가능하게 한다.

ABSTRACT

More and more software practitioners are tackling towards industrial applications of artificial intelligence (AI) systems, especially those based on machine learning (ML). However, many of existing principles and approaches to traditional systems do not work effectively for the system behavior obtained by training not by logical design. In addition, unique kinds of requirements are emerging such as fairness and explainability. To provide clear guidance to understand and tackle these difficulties, we present an analysis on what quality concepts we should evaluate for AI systems. We base our discussion on ISO/IEC 25000 series, known as SQuaRE, and identify how it should be adapted for the unique nature of ML and $ extit{Ethics guidelines for trustworthy AI}$ from European Commission. We thus provide holistic insights for quality of AI systems by incorporating the ML nature and AI ethics to the traditional software quality concepts.

연구 동기 및 목표

• 기계학습 기반 AI 시스템에 특화된 품질 평가 프레임워크의 증가하는 필요성을 해결하기 위해, 설계 및 행동 방식에서 기존 소프트웨어와 근본적으로 다름을 고려한다.
• 기계학습 구성요소의 투명성 부족 및 데이터 중심적 성격으로 인해 기존 SQuaRE 프레임워크가 AI 시스템 적용에 미치는 한계를 규명한다.
• 유럽연합 집행위원회의 신뢰할 수 있는 AI를 위한 윤리 지침에서 도출된 윤리적 요구사항을 SQuaRE에 통합하여 실제 AI 응용 분야에서의 관련성을 높인다.
• 산업 현장의 실무자들이 AI 시스템의 품질을 종합적으로 평가할 수 있도록, SQuaRE의 품질 모델에 실질적이고 개념 수준의 수정 사항을 제안한다.
• AI 개발 과정에서의 내부 품질 요소(예: 데이터 정제, 모델 훈련, 런타임 모니터링)에 대한 향후 연구의 기초를 마련한다.

제안 방법

• ISO/IEC 25000 SQuaRE 프레임워크와 유럽연합 집행위원회의 신뢰할 수 있는 AI를 위한 윤리 지침 간의 비교 분석을 수행한다.
• 기계학습 기반 AI 시스템에 적용했을 때의 유효성과 완전성을 고려하여 SQuaRE의 각 품질 특성 및 부특성에 대해 평가한다.
• 기계학습 특성(예: 설명 가능성 부족, 파rameter 기반 동작)으로 인해 SQuaRE 개념이 무효화되거나 제한되는 사례를 식별하고, 필요한 수정 사항을 제안한다.
• 윤리 지침에서 도출된 윤리적 요구사항(특히 공정성, 설명 가능성, 책임성, 개인정보 보호)을 SQuaRE의 계층적 구조에 매핑한다.
• 새로운 부특성(예: 보안 하위의 개인정보 보호, 신뢰성 하위의 재현성)과 메타 수준 고려사항(예: 책임성에 대한 감사 가능성 및 추적 가능성)을 제안한다.
• 나무 구조 기반 분석을 활용하여 윤리적 하위 요구사항을 SQuaRE의 품질 모델과 정렬함으로써 추적 가능성과 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 기계학습의 투명성 부족 및 데이터 중심적 성격이 기존 SQuaRE의 품질 특성 적용에 어떤 방식으로 무효화되거나 제한되는가?
• RQ2 유럽연합 집행위원회의 신뢰할 수 있는 AI를 위한 윤리 지침에서 제시하는 품질 요소 중 현재 SQuaRE 프레임워크에 누락되거나 부적절하게 표현된 요소는 무엇인가?
• RQ3 기계학습 특화 및 윤리적 품질 차원(예: 공정성, 설명 가능성, 재현성)을 포함하기 위해 SQuaRE의 품질 모델을 어떻게 수정해야 하는가?
• RQ4 SQuaRE의 핵심 구조를 대체하지 않고도 책임성과 감사 가능성을 어떻게 의미 있게 통합할 수 있는가?
• RQ5 기존 SQuaRE의 품질 측정 기준이 정확성과 신뢰성 외의 AI 시스템 품질 평가에 얼마나 잘 기여하는가?

주요 결과

• 현재 SQuaRE 프레임워크는 기계학습 기반 AI 시스템의 고유한 품질 과제(예: 설명 가능성 부족, 훈련 데이터 민감도)를 충분히 반영하지 못하고 있다.
• 기계학습에서의 무작위성과 초모수 민감도로 인해 핵심적인 요소인 '재현성'은 SQuaRE에 명시적으로 포함되어 있지 않으며, 이는 신뢰성 하위의 부특성으로 추가되어야 한다.
• 개인정보 보호는 보안의 부특성에서 벗어나 제품 품질 모델에서의 첫 번째 등급 품질 부특성으로 격상되어야 하며, 그 중요성이 증가하고 있음을 반영해야 한다.
• 윤리 지침에서 제시한 '책임성' 요구사항은 SQuaRE에서 직접적으로 지원되지 않으며, 감사 기록 및 결정 기록 문서화와 같은 메타 수준의 고려가 필요하다.
• SQuaRE의 부특성 '추적 가능성'은 AI 시스템에 대해 부족하며, 감사 및 준수를 위해 알고리즘 결정 기록 및 기원 추적 기능을 포함하도록 재정의되어야 한다.
• 윤리 지침의 일곱 가지 핵심 요구사항 중 대부분은 SQuaRE에 충분히 반영되어 있지 않으며, 이는 현재 소프트웨어 품질 기준이 신뢰할 수 있는 AI에 대해 상당한 격차를 보임을 시사한다.