[논문 리뷰] Going Beyond XAI: A Systematic Survey for Explanation-Guided Learning

Yuyang Gao, Siyi Gu외 4명|arXiv (Cornell University)|2022. 12. 07.

Explainable Artificial Intelligence (XAI)인용 수 9

한 줄 요약

이 논문은 설명 가능 AI(XAI)의 통찰을 활용하여 딥 네ural 네트워크(DNNs)의 정확성, 공정성, 일반화 능력을 향상시키는 데 초점을 맞춘 Explanation-Guided Learning(EGL) 프레임워크를 소개한다. 설명에 대한 정규화, 감독, 또는 간섭을 적용함으로써 EGL은 컴퓨터 비전(CV) 및 자연어 처리(NLP) 작업 전반에서 모델 성능과 해석 가능성 양쪽을 향상시킨다. 실험 결과, 최신 모델 기준으로 설명 F1은 최대 471.0% 향상되었고, IoU는 1863.9% 증가하였다.

ABSTRACT

As the societal impact of Deep Neural Networks (DNNs) grows, the goals for advancing DNNs become more complex and diverse, ranging from improving a conventional model accuracy metric to infusing advanced human virtues such as fairness, accountability, transparency (FaccT), and unbiasedness. Recently, techniques in Explainable Artificial Intelligence (XAI) are attracting considerable attention, and have tremendously helped Machine Learning (ML) engineers in understanding AI models. However, at the same time, we started to witness the emerging need beyond XAI among AI communities; based on the insights learned from XAI, how can we better empower ML engineers in steering their DNNs so that the model's reasonableness and performance can be improved as intended? This article provides a timely and extensive literature overview of the field Explanation-Guided Learning (EGL), a domain of techniques that steer the DNNs' reasoning process by adding regularization, supervision, or intervention on model explanations. In doing so, we first provide a formal definition of EGL and its general learning paradigm. Secondly, an overview of the key factors for EGL evaluation, as well as summarization and categorization of existing evaluation procedures and metrics for EGL are provided. Finally, the current and potential future application areas and directions of EGL are discussed, and an extensive experimental study is presented aiming at providing comprehensive comparative studies among existing EGL models in various popular application domains, such as Computer Vision (CV) and Natural Language Processing (NLP) domains.

연구 동기 및 목표

• XAI를 넘어서 설명 통찰을 활용해 DNN의 행동을 적극적으로 이끌어 더 나은 성능과 신뢰성을 확보할 필요성을 해결하기 위해.
• AI의 해석 가능성 분야에서 새로운 방향으로서 Explanation-Guided Learning(EGL)의 정의와 일반 학습 프레임워크를 체계화하기 위해.
• faithfulness, comprehensiveness, 그리고 정확성과 같은 지표를 포함한 EGL에 대한 종합적인 평가 프레임워크를 제공하기 위해.
• CV 및 NLP 도메인 전반에서 EGL 모델에 대한 최초의 대규모 비교 연구를 수행하여 성능 추세와 상호 교환 관계를 규명하기 위해.
• DNN의 공정성, 책임성, 투명성 및 편향 완화를 향상시키기 위한 EGL의 향후 적용 분야 및 연구 방향을 탐색하기 위해.

제안 방법

• XAI 기반 설명을 감독 신호로 통합하여 DNN 학습을 정규화하거나 이끌어내는 학습 프레임워크로 EGL을 체계화하기 위해.
• 모델의 추론을 인간이 이해할 수 있는 설명과 일치시키기 위해 설명 감독, 주의력 감독, 설명 일치 기법을 적용하기 위해.
• 충분성, 포괄성, IoU, 설명 F1과 같은 지표를 사용하여 설명의 정확성과 신뢰성을 정량적으로 평가하기 위해.
• FEVER, MultiRC, Movie Review 등의 벤치마크 데이터셋에서 광범위한 추론 및 비교 실험을 수행하여 모델 성능을 평가하기 위해.
• 정확성과 설명 품질 간의 상호 관계를 분석하기 위해 주의력 맵과 진짜 설명을 시각화하기 위해.
• Explanation Supervision, Attention Supervision, Explanation Alignment와 같은 통일된 용어로 기존 EGL 방법을 분류하여 분야의 통일성을 제고하기 위해.

실험 결과

연구 질문

• RQ1 XAI의 통찰을 어떻게 체계적으로 활용하여 설명 생성을 넘어서 DNN 학습을 이끌 수 있는가?
• RQ2 효과적인 Explanation-Guided Learning(EGL) 프레임워크의 핵심 구성 요소와 평가 기준은 무엇인가?
• RQ3 CV 및 NLP 작업 전반에서 다양한 EGL 기법은 정확성, 정밀도, 일반화 능력 측면에서 어떻게 비교될 수 있는가?
• RQ4 EGL에서 정확성과 설명 품질 간의 상호 교환 관계는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 실제 AI 시스템에서 EGL의 가장 유망한 적용 분야와 향후 연구 방향은 무엇인가?

주요 결과

• FEVER 데이터셋에서 기준 모델 대비 Expred는 포괄성에서 394.1% 향상되고 충분성은 59.0% 감소시켰다.
• FRESH는 높은 정확도(0.903)와 AUC를 기록했지만, 포괄성가 기준 모델보다 열 劣하므로 설명 품질 측면에서 상호 교환 관계가 존재함을 시사한다.
• Expred는 기준 모델 대비 IoU를 1863.9% 향상시키고 설명 F1을 471.0% 향상시켜 설명의 정확성 향상에서 뚜렷한 성과를 보였다.
• Carton 등은 높은 정확도(0.903)를 기록했지만 포괄성이 가장 낮아 정확성과 설명 커버리지 사이의 상호 교환 관계를 강조한다.
• ERASER와 Glockner 등은 진짜 설명과 높은 일치를 보였으며, 이는 높은 IoU 점수와 관련이 있어 설명 국소화의 공간 정밀도가 뛰어남을 시사한다.
• 본 연구는 높은 주의력 커버리지가 충분성을 감소시킬 수 있음을 밝혀내어 평가 시 정확성과 정밀성의 균형을 유지할 필요성을 강조한다.