[논문 리뷰] The Need for Standardized Explainability

Othman Benchekroun, Adel Rahimi외 2명|arXiv (Cornell University)|2020. 10. 20.

Explainable Artificial Intelligence (XAI)참고 문헌 11인용 수 5

한 줄 요약

이 논문은 블랙박스 모델의 위험을 해결하기 위해 인공지능에서 표준화된 설명 가능성(Explainability)을 주장하며, 설명 가능성과 해석 가능성(Interpretability)을 위한 새로운 정의를 제안하고, 사전 모델링, 모델링, 사후 모델링의 세 단계로 구성된 분류 체계(3단계 분류 체계)를 도입하여 XAI 방법을 체계화한다. 주요 기여는 산업용 AI 응용 분야에서 감시 가능성, 신뢰성, 규제 준수를 가능하게 하는 기초 프레임워크를 제공하는 것이다.

ABSTRACT

Explainable AI (XAI) is paramount in industry-grade AI; however existing methods fail to address this necessity, in part due to a lack of standardisation of explainability methods. The purpose of this paper is to offer a perspective on the current state of the area of explainability, and to provide novel definitions for Explainability and Interpretability to begin standardising this area of research. To do so, we provide an overview of the literature on explainability, and of the existing methods that are already implemented. Finally, we offer a tentative taxonomy of the different explainability methods, opening the door to future research.

연구 동기 및 목표

• 산업 분야에서 설명할 수 없거나 편향되거나 신뢰할 수 없는 AI 모델의 위험이 증가하는 데 대응하기 위해 표준화된 설명 가능성의 필요성을 주장하기 위해.
• 현재 XAI 연구에서 애매모호함과 일관성 부족을 해결하기 위해 '설명 가능성'과 '해석 가능성'을 정밀하게 정의하기 위해.
• 기계학습 라이프사이클 전반(사전 모델링, 모델링, 사후 모델링)에 걸쳐 설명 가능성 방법의 체계적인 분류 체계를 수립하기 위해.
• 현재 XAI 방법이 산업 수준의 요구사항, 특히 감시 가능성과 규제 준수 측면에서 충족하지 못하는 이유를 밝히기 위해.
• 안전성, 통제 가능성, 투명성을 확보하기 위해 향후 XAI 프레임워크의 표준화를 위한 기반을 마련하기 위해.

제안 방법

• 설명(Explain)의 의미를 메리엄-웹스터 사전의 정의인 '무언가를 명확하고 이해하기 쉽게 만들기'로 기반으로 하여 '설명 가능성'과 '해석 가능성'에 대해 새로운, 명확히 구분된 정의를 제안한다.
• 설명 가능성 방법을 세 가지 범주로 분류한다: 사전 모델링(데이터 분석, 데이터 변형 기법인 DeepLift 등), 모델링(내재적으로 해석 가능한 모델), 사후 모델링(대체 모델인 LIME 및 SHAP 등).
• 실제 사례(예: 인종차별적 soaper dispenser, 직업 광고에서의 성별 편향)를 통해 설명되지 않은 AI 행동의 현실 세계 영향을 시각적 예시와 함께 설명한다.
• GDPR, CCPA, LGPD, PDPA 등의 규제 프레임워크를 분석하여 산업 분야에서 설명 가능성의 법적 필수성을 입증한다.
• 현재 XAI 방법은 표준화가 부족하고 주관적인 인간 평가에 의존하므로, 객관적이고 측정 가능한 기준이 필요하다고 주장한다.
• 표준화된 XAI 프레임워크, 설명 가능성 대 복잡도 비율 평가, 성능, 복잡도, 설명 가능성 간의 연결 고리를 고려한 연구 계획을 제안한다.

실험 결과

연구 질문

• RQ1 AI 맥락에서 '설명 가능성'과 '해석 가능성'의 근본적 정의는 무엇이며, 왜 현재는 일관성 없고 모호한가?
• RQ2 기계학습 라이프사이클 전반을 아우르는 표준화된 설명 가능성 방법의 분류 체계는 어떻게 구성할 수 있는가?
• RQ3 현재 XAI 방법은 왜 산업 수준의 AI 요구사항을 충족하지 못하는가? 특히 감시 가능성과 규제 준수 측면에서 설명하라.
• RQ4 윤리적 고려 사항을 초월해 조직에서 설명 가능한 AI를 채택하는 데 영향을 주는 주요 요인는 무엇인가?
• RQ5 현재 평가가 주관적인 인간 판단에 의존하고 있는 바, 설명 가능성은 어떻게 객관적으로 측정할 수 있는가?

주요 결과

• 설명 가능한 AI는 GDPR 및 CCPA와 같은 글로벌 데이터 보호 규정 하에서 산업 응용 분야의 신뢰성, 안전성, 준수성 확보에 필수적이다.
• 이 논문은 새로운 3단계 분류 체계를 제안한다: 사전 모델링(데이터 기반), 모델링(내재적으로 해석 가능한 모델), 사후 모델링(대체 모델인 LIME 및 SHAP 등).
• 현재 XAI 방법은 표준화 부족과 설명 가능성에 대한 주관적인 인간 평가에 의존하므로 산업 수준의 사용에는 부적절하다.
• 블랙박스 모델은 종종 인간의 편향을 그대로 계승하고 악화시는 경향이 있다—실제 사례로는 인종차별적 세제기계와 성별 편향이 있는 직업 광고 타겟팅이 이를 입증하며, 설명 가능성의 필요성을 강조한다.
• GDPR 및 CCPA와 같은 규제 프레임워크는 설명 가능성을 의무화하므로, 이는 윤리적 요구 사항을 넘어서 법적 의무로 간주되어야 한다.
• 이 논문은 표준화된 XAI 프레임워크가 필요하며, 이를 통해 생산 환경에서 설명 가능성, 감시 가능성, 모델의 통제 가능성에 대한 객관적 측정이 가능해질 것임을 규명한다.