[논문 리뷰] A Performance-Explainability Framework to Benchmark Machine Learning Methods: Application to Multivariate Time Series Classifiers

Kevin Fauvel, Véronique Masson외 1명|arXiv (Cornell University)|2020. 05. 29.

Explainable Artificial Intelligence (XAI)인용 수 8

한 줄 요약

이 논문은 성능과 설명 가능성의 프레임워크를 제안하여 다변량 시계열(MTS) 분류기의 성능을 평가한다. 성능, 설명 가능성 특성(예: 신뢰성, 이해 가능성, 해상도)을 기준으로 분석한 결과, MLSTM-FCN에 SHAP를 적용한 방법이 뛰어난 성능과 넓은 설명의 해상도를 보였지만, 그 설명은 서로서의 모델 기반으로 인해 불완전한 것으로 드러났다. 이는 높은 성능와 함께 신뢰할 수 있고 정보적인 설명을 제공하는 새로운 모델 개발의 필요성을 시사한다.

ABSTRACT

Our research aims to propose a new performance-explainability analytical framework to assess and benchmark machine learning methods. The framework details a set of characteristics that systematize the performance-explainability assessment of existing machine learning methods. In order to illustrate the use of the framework, we apply it to benchmark the current state-of-the-art multivariate time series classifiers.

연구 동기 및 목표

• 기계 학습 방법의 성능과 설명 가능성에 대한 표준화된 평가 프레임워크가 부족한 문제를 해결하기 위해.
• 신뢰성, 이해 가능성, 설명의 해상도 등 측정 가능한 특성들을 정의하여 설명 가능성의 평가를 체계화하기 위해.
• 이 프레임워크를 사용해 최신 MTS 분류기들을 평가하여 강점, 한계 및 연구 격차를 규명하기 위해.
• 높은 성능를 유지하면서도 신뢰할 수 있고 정보가 풍부하며 사용자 접근이 가능한 설명을 제공하는 새로운 MTS 분류기의 설계를 안내하기 위해.
• 의료 및 자연재해 모니터링과 같은 분야에서 규제 및 응용 중심의 설명 가능한 AI 요구를 지원하기 위해.

제안 방법

• 프레임워크는 설명 가능성 특성의 세트를 정의한다: 성능(상대 정확도), 신뢰성(설명이 모델 결정을 얼마나 정확히 반영하는지), 이해 가능성(모델의 투명도, 예: 화이트박스 대비_BLK박스), 해상도(국소적 또는 전역적 설명), 정보 유형(예: 특징, 시간 창 등 설명되는 정보의 종류), 사용자(설명의 대상 청중).
• 프레임워크는 35개의 공개 MTS 데이터셋에 적용되며, 최신 분류기인 DTW I, MLSTM-FCN, WEASEL+MUSE를 비교한다.
• 블랙박스 모델(MLSTM-FCN, WEASEL+MUSE)의 경우, SHAP를 통한 사후 모델 독립적 설명 기법을 사용하여 특징 기반 및 시간 기반 설명을 생성한다.
• 설명은 그들의 신뢰성(완벽 vs. 불완전), 이해 가능성(화이트박스 vs. 블랙박스), 정보 내용(예: 특징만 vs. 시간 시퀀스)을 기준으로 평가된다.
• 프레임워크를 통해 다양한 모델 간 비교 평가가 가능해져 성능와 설명 가능성의 품질 간 상호 교환 관계를 규명할 수 있다.
• 프레임워크는 확장 가능하도록 설계되었으며, 메모리나 런타임과 같은 구현 요소에 제약을 받지 않는다.

실험 결과

연구 질문

• RQ1 기계 학습 모델의 성능와 설명 가능성에 대해 평가할 수 있는 표준화된 특성 세트를 어떻게 정의할 수 있는가?
• RQ2 다변량 시계열 분류기에서 예측 성능와 설명 품질 간의 핵심 상호 교환 관계는 무엇인가?
• RQ3 SHAP와 같은 다양한 설명 기법이 블랙박스 모델의 설명의 신뢰성과 이해 가능성에 어떻게 영향을 미치는가?
• RQ4 어떤 MTS 분류기가 도메인 전문가에게 가장 정보가 풍부하고 신뢰할 수 있는 설명을 제공하는가?
• RQ5 높은 성능와 함께 신뢰할 수 있고 종합적인 설명을 제공하는 새로운 MTS 분류기 개발을 위한 설계 원칙은 무엇인가?

주요 결과

• MLSTM-FCN는 평가된 MTS 분류기 중에서 가장 뛰어난 성능를 보였으며, 35개의 공개 데이터셋에서 WEASEL+MUSE와 DTW I보다 평균 정확도가 높았다.
• DTW I는 화이트박스 모델로서 완벽한 신뢰성과 국소적 해상도를 지녔으며, 도메인 전문가가 이해하고 신뢰할 수 있는 설명을 제공한다.
• MLSTM-FCN에 SHAP를 적용한 경우, DTW I와 유사한 설명 정보 내용(특징 및 시간)과 완전한 해상도(국소 및 전역)를 확보했지만, 서로서의 모델 접근 방식으로 인해 신뢰성이 불완전하다.
• WEASEL+MUSE에 SHAP를 적용한 경우, MLSTM-FCN에 SHAP를 적용한 것과 유사한 설명 품질을 제공하지만, 전체 성능는 낮아 실용적으로는 바람직하지 않다.
• 프레임워크는 현재 최신 기술 모델들이 특징-시간 기여도를 초월해 매우 높은 신뢰성과 정보성 있는 설명을 제공하지 못하는 점을 드러내며 연구 격차를 시사한다.
• 최근에 제안된 MTS 분류기인 XEM은 최고의 성능와 높은 신뢰성을 확보하면서도 분류에 기여하는 시간 창(정보: 유니 시퀀스)을 식별하지만, 설명은 국소적 해상도에 국한되어 있으며 다중 시퀀스 패턴 탐지 기능을 통합하면 향상될 수 있다.