[논문 리뷰] Do We Need Another Explainable AI Method? Toward Unifying Post-hoc XAI Evaluation Methods into an Interactive and Multi-dimensional Benchmark

Mohamed Karim Belaid, Eyke Hüllermeier외 2명|arXiv (Cornell University)|2022. 06. 08.

Explainable Artificial Intelligence (XAI)인용 수 8

한 줄 요약

이 논문은 후행 해석 가능한 AI(xAI) 알고리즘을 위한 기능 테스트 방법을 통합하는 상호작용형 다차원 벤치마크인 Compare-xAI를 소개한다. 비중복 테스트를 식별하기 위한 선택 프로토콜을 제안하고, 전문가 수준의 평가 체계를 통해 응용자 전문성 수준(일반인, 전문가, 연구자)에 따라 알고리즘을 평가하며, 직관적인 사용자 인터페이스를 통해 오용을 줄인다. 이로 인해 최고 성능 테스트와 최악 성능 테스트 간 평균 점수 격차가 71.9%에 달했으며, 실패한 테스트의 중앙값 실패율은 17.6%, 부분 실패한 테스트의 중앙값 실패율은 38.7%로 확인되었다.

ABSTRACT

In recent years, Explainable AI (xAI) attracted a lot of attention as various countries turned explanations into a legal right. xAI allows for improving models beyond the accuracy metric by, e.g., debugging the learned pattern and demystifying the AI's behavior. The widespread use of xAI brought new challenges. On the one hand, the number of published xAI algorithms underwent a boom, and it became difficult for practitioners to select the right tool. On the other hand, some experiments did highlight how easy data scientists could misuse xAI algorithms and misinterpret their results. To tackle the issue of comparing and correctly using feature importance xAI algorithms, we propose Compare-xAI, a benchmark that unifies all exclusive functional testing methods applied to xAI algorithms. We propose a selection protocol to shortlist non-redundant functional tests from the literature, i.e., each targeting a specific end-user requirement in explaining a model. The benchmark encapsulates the complexity of evaluating xAI methods into a hierarchical scoring of three levels, namely, targeting three end-user groups: researchers, practitioners, and laymen in xAI. The most detailed level provides one score per test. The second level regroups tests into five categories (fidelity, fragility, stability, simplicity, and stress tests). The last level is the aggregated comprehensibility score, which encapsulates the ease of correctly interpreting the algorithm's output in one easy to compare value. Compare-xAI's interactive user interface helps mitigate errors in interpreting xAI results by quickly listing the recommended xAI solutions for each ML task and their current limitations. The benchmark is made available at https://karim-53.github.io/cxai/

연구 동기 및 목표

• 알고리즘과 평가 방법의 급격한 증가로 인해 실무자들이 후행 해석 가능한 AI(xAI) 방법을 선택하고 정확히 해석하는 데 어려움을 겪는 문제를 해결하기 위해.
• 알고리즘적 한계에 대한 명확한 이해가 부족해 발생하는 '해석 깊이의 환상'을 완화하기 위해. 이는 데이터 과학자들이 알고리즘의 제약을 잘못 이해함으로써 발생한다.
• 문헌에서 유래한 다양한 기능 테스트 방법을 표준화되고 확장 가능한 벤치마크로 통합하여 xAI 알고리즘을 평가하기 위해.
• 알고리즘적 한계를 명확히 드러내고 다양한 사용자 전문성 수준(일반인, 실무자, 연구자)에서의 의사결정을 지원하는 투명하고 상호작용형 인터페이스를 제공하기 위해.
• 계층적 평가 체계를 통해 성능, 취약점, 한계를 즉각적으로 시각화하여 xAI 도구의 오용을 줄이기 위해.

제안 방법

• 문헌에서 유래한 기능 테스트 중 상호 중복이 없는 테스트를 선별하기 위한 선택 프로토콜을 제안하며, 각 테스트는 충성도, 취약성, 안정성, 단순성, 스트레스 테스트 등 서로 다른 최종 사용자 요구사항을 대상으로 한다.
• 세 단계의 계층적 평가 체계를 설계한다: (1) 개별 테스트별 하나의 점수, (2) 충성도, 취약성, 안정성, 단순성, 스트레스 테스트의 다섯 가지 카테고리 점수, (3) 일반인 사용자를 위한 종합 이해도 점수.
• 모든 xAI 알고리즘을 냉각된 머신러닝 모델에 대해 블랙박스 방식으로 종단 간(end-to-end) 평가하는 프로토콜을 적용하여 출력 결과가 기대되는 설명과 일치하는지 확인한다.
• 테스트 결과를 시각화하고 알고리즘의 한계를 강조하며, 각 머신러닝 작업에 적합한 xAI 도구를 신속하게 필터링할 수 있는 상호작용형 웹 기반 사용자 인터페이스를 개발한다.
• 객관성과 재현 가능성을 확보하기 위해 주관적 인간 평가를 회피하고, 정량적 지표만을 사용하여 평가한다.
• 40여 편 이상의 논문에서 유래한 결과를 통합하고, 22개의 기능 테스트를 통해 16개 이상의 후행 xAI 알고리즘을 평가하며, 최신 상태를 유지하기 위해 결과를 지속적으로 재평가한다.

실험 결과

연구 질문

• RQ1 문헌에서 유래한 기능 테스트 중 각각 서로 다른 최종 사용자 요구사항(예: 충성도, 취약성, 안정성, 단순성, 스트레스 테스트)을 대상으로 하는 비중복 테스트를 어떻게 선별할 수 있는가?
• RQ2 많은 평가 차원과 사용자 전문성 수준이 존재하는 상황에서도 xAI 알고리즘을 단순하고 확장 가능한 방식으로 평가하는 방법은 무엇인가?
• RQ3 투명하고 상호작용적이며 해석 가능한 벤치마크를 통해 데이터 과학자들이 xAI 알고리즘을 오용할 가능성을 어떻게 줄일 수 있는가?

주요 결과

• 충성도, 취약성, 안정성, 단순성, 스트레스 테스트의 다섯 하위 카테고리 간 평균 점수 격차는 71.9% (±31.4%)로, xAI 방법 간 성능 격차가 뚜렷하게 나타남을 시사한다.
• 모든 xAI 알고리즘의 실패한 테스트(점수 < 0.05) 중앙값은 17.6%, 부분 실패한 테스트(0.05 ≤ 점수 < 0.95) 중앙값은 38.7%로, 알고리즘의 강건성에 광범위한 한계가 있음을 보여준다.
• 평균적으로 각 xAI 알고리즘은 12.3개의 테스트(±5)를 통과하며, 이는 어떤 알고리즘도 모든 기능 기준에서 잘 수행되지 않으며 대부분의 알고리즘이 뚜렷한 약점을 지닌다는 것을 의미한다.
• 실패한 테스트의 분포가 비대칭이므로 평균보다 중앙값이 더 대표적인 측도이며, 실패 패tern이 알고리즘 간 균일하게 분포되어 있지 않음을 시사한다.
• 벤치마크는 일부 xAI 알고리즘이 거의 동일한 성능을 보임을 확인하여 실무자가 중복된 옵션을 신속히 제거하고 높은 성능을 보이며 이해도가 높은 도구에 집중할 수 있도록 한다.
• 상호작용형 UI는 사용자가 알고리즘의 한계를 신속히 파악할 수 있도록 하여, 비전문가 사용자에게 특히 잘못된 해석과 오용의 위험을 줄여준다.