[논문 리뷰] Beyond Explaining: Opportunities and Challenges of XAI-Based Model Improvement

Leander Weber, Sebastian Lapuschkin외 2명|arXiv (Cornell University)|2022. 03. 15.

Explainable Artificial Intelligence (XAI)인용 수 10

한 줄 요약

이 논문은 해석 가능성 있는 인공지능(XAI)을 모델 결정을 해석하는 데서 넘어서 기계학습 모델을 실제로 향상시키는 데도 활용할 수 있는 체계적인 프레임워크를 제안한다. 손실 함수 정규화, 데이터 증강, 아키텍처 수정을 통해 이루어진다. XAI 기반 향상 방법이 모델의 일반화 능력, 공정성, 추론 능력을 향상시킬 수 있음을 입증하지만, 그 효과는 모델, 데이터셋, 설명 방법의 선택에 크게 의존한다.

ABSTRACT

Explainable Artificial Intelligence (XAI) is an emerging research field bringing transparency to highly complex and opaque machine learning (ML) models. Despite the development of a multitude of methods to explain the decisions of black-box classifiers in recent years, these tools are seldomly used beyond visualization purposes. Only recently, researchers have started to employ explanations in practice to actually improve models. This paper offers a comprehensive overview over techniques that apply XAI practically for improving various properties of ML models, and systematically categorizes these approaches, comparing their respective strengths and weaknesses. We provide a theoretical perspective on these methods, and show empirically through experiments on toy and realistic settings how explanations can help improve properties such as model generalization ability or reasoning, among others. We further discuss potential caveats and drawbacks of these methods. We conclude that while model improvement based on XAI can have significant beneficial effects even on complex and not easily quantifyable model properties, these methods need to be applied carefully, since their success can vary depending on a multitude of factors, such as the model and dataset used, or the employed explanation method.

연구 동기 및 목표

• 현재 주로 해석에 집중되어 있는 XAI 기반 모델 향상에 대한 체계적 이해의 격차를 메우기 위해.
• 모델 성질 향상의 대상, 증강 구성 요소, 인간의 참여 수준, 모델 독립성 등의 기준에 따라 기존 XAI 기반 모델 향상 기법을 분류하고 비교하기 위해.
• 완전한 토이 및 실제 세계 작업에서 XAI 기반 향상의 영향을 실증적으로 평가하여 일반화, 추론 능력, 공정성 향상 여부를 분석하기 위해.
• 해석을 통해 모델 학습이나 아키텍처 변경을 유도할 때 발생할 수 있는 주요 과제, 제약 조건, 잠재적 부작용을 규명하기 위해.
• 연구자 및 실무자가 언제, 어떻게 효과적으로 XAI를 모델 향상에 적용할 수 있는지에 대한 실용적 권고를 제공하기 위해.

제안 방법

• 모델 성질 향상의 대상(예: 공정성, 추론), 증강 구성 요소(예: 손실 함수, 데이터, 아키텍처), 인간 참여 수준 등을 기준으로 XAI 기반 모델 향상 기법을 분류할 수 있는 통합 이론적 프레임워크를 제안한다.
• 기법을 세 가지 주요 유형으로 분류한다: 설명을 활용한 손실 함수 정규화, 설명을 기반으로 한 데이터 증강, 설명 통찰을 바탕으로 한 사후 모델 수정(예: 프루닝, 양자화).
• 기울기 기반 및 미분 가능한 설명 방법(예: 시알리티 맵)을 활용하여 설명 신호를 통해 역전파를 가능하게 하여 XAI 기반 정규화를 통한 엔드 투 엔드 학습을 가능하게 한다.
• 모델 성능과 행동에 미치는 XAI 기반 증강의 영향을 평가하기 위해 시뮬레이션(토이) 및 실제 세계 데이터셋에서 통제 실험을 수행한다.
• 초기화, 정규화, 설명 방법 선택 등에 따른 하이퍼파rameter의 영향을 분석하여 XAI 기반 향상의 신뢰성과 효과성에 영향을 미치는 요소를 규명한다.
• 추론 및 공정성 향상을 위해 인간-중심 피드백을 통합하며, 설명을 통해 허위 또는 편향된 특징에 의존하는 것을 식별하고 이를 처벌한다.

실험 결과

연구 질문

• RQ1 XAI는 정확도를 넘어서 추론, 공정성, 일반화와 같은 모델 성질을 체계적으로 향상시키는 데 어떻게 활용될 수 있는가?
• RQ2 XAI 기반 모델 향상의 주요 방법론적 유형은 무엇이며, 그 효과성, 확장성, 인간 참여 수준 측면에서 어떻게 상이한가?
• RQ3 XAI 기반 향상은 설명 방법, 모델 아키텍처, 데이터셋, 하이퍼파rameter 선택에 얼마나 의존하는가?
• RQ4 해석을 통해 모델 학습 또는 아키텍처 변경을 유도할 때 발생할 수 있는 잠재적 부작용 또는 뜻하지 않은 결과는 무엇인가?
• RQ5 XAI 기반 향상은 표준 지표에서 약간의 성능 저하가 발생하더라도, 내구성 및 공정성과 같은 의미적 모델 성질에서 측정 가능한 향상을 이끌 수 있는가?

주요 결과

• XAI 기반 모델 향상은 특히 설명을 사용해 손실 함수를 정규화하고 허위 특징에 대한 의존도를 줄일 경우, 모델의 일반화 능력과 추론 능력을 크게 향상시킬 수 있다.
• 기울기 기반 설명을 활용한 손실 함수 정규화는 가장 광범위하게 적용 가능하고 효과적인 접근이지만, 미분 가능성 요구 조건으로 인해 시알리티 맵과 같은 특정 방법에 국한된다.
• 설명 기반 데이터 증강은 모델의 내구성과 공정성을 향상시킬 수 있으며, 특히 편향된 특징 사용을 수정하기 위해 인간 피드백을 통합할 경우 효과가 크다.
• 프루닝이나 양자화와 같은 사후 훈련 수정은 모델 효율성을 향상시키지만, 추론 능력이나 공정성 향상에는 효과가 없다.
• XAI 기반 향상의 성공 여부는 설명 방법, 모델, 데이터셋, 하이퍼파rameter 선택에 매우 민감하며, 설정 간에 효과가 미미하거나 일관되지 않을 수 있다.
• 추론이나 공정성과 같은 의미적 성질을 향상시키는 데에는 표준 성능 지표(예: 정확도)가 감소할 수 있으며, 이는 신뢰할 수 있는 AI 평가에 기존 지표만으로는 부족할 수 있음을 시사한다.