[논문 리뷰] Counterfactual Explanations of Concept Drift

Fabian Hinder, Barbara Hammer|arXiv (Cornell University)|2020. 06. 23.

Data Stream Mining Techniques참고 문헌 28인용 수 4

한 줄 요약

이 논문은 대체적 설명을 사용하여 시간에 따라 변화하는 특징 데이터 샘플을 식별하고 추적하는 새로운 프레임워크를 제안한다. 개념의 변화를 대표적 프로토타입의 변화로 공식화하고, 특히 재표본화 및 가중치 조정을 통한 성능 향상을 통해 기준선을 능가하는 효율적인 알고리즘을 제안함으로써, 수명 주기 동안의 모델 해석 가능성 향상과 인간의 개입을 가능하게 한다.

ABSTRACT

The notion of concept drift refers to the phenomenon that the distribution, which is underlying the observed data, changes over time; as a consequence machine learning models may become inaccurate and need adjustment. While there do exist methods to detect concept drift or to adjust models in the presence of observed drift, the question of explaining drift has hardly been considered so far. This problem is of importance, since it enables an inspection of the most prominent features where drift manifests itself; hence it enables human understanding of the necessity of change and it increases acceptance of life-long learning models. In this paper we present a novel technology, which characterizes concept drift in terms of the characteristic change of spatial features represented by typical examples based on counterfactual explanations. We establish a formal definition of this problem, derive an efficient algorithmic solution based on counterfactual explanations, and demonstrate its usefulness in several examples.

연구 동기 및 목표

• 적응형 기계 학습 시스템에서 인간의 이해와 개입을 방해하는 개념의 변화에 대한 설명 가능한 방법의 부족을 해결하기 위해.
• 통계적 변화 이상으로 개념의 변화를 대표적 데이터 샘플(프로토타입)의 시간에 따른 진화로 공식화하기 위해.
• 변화의 핵심을 가장 명확히 반영하는 특징적인 데이터 포인트를 식별하고 추적하는 데 효율적인 알고리즘을 개발하기 위해.
• 핵심 프로토타입의 변화를 시각화하여 인간 사용자가 모델 적응이 필요한 *이유*를 이해할 수 있도록 돕기 위해.
• 알려진 진실값과 알려지지 않은 진실값이 있는 합성 및 실세계 데이터셋을 통해 방법의 강인성과 효과성을 평가하기 위해.

제안 방법

• 대체적 추론를 사용하여 시간에 따라 변화하는 특징적인 데이터 포인트(프로토타입)의 변화로 개념의 변화를 공식화하고, 샘플의 분류나 행동이 어떻게, 왜 변화하는지 설명한다.
• 식별 가능성(i)과 일관성(C)이라는 두 가지 핵심 지표를 정의하여, 변화 관련 정보를 잘 포착하는 프로토타입의 품질을 평가한다.
• 고차원 또는 겹치는 데이터에서의 프로토타입 선택을 향상시키기 위해 재표본화 및 가중치 조정을 적용한 클러스터링 알고리즘(k-means, 유사도 기반 프로토타입, 평균 이동)을 사용한다.
• 두 단계 프로세스를 적용한다: 첫 번째로 클러스터링을 통해 후보 프로토타입을 식별하고, 두 번째로 대체적 변형을 사용하여 민감도를 평가함으로써 프로토타입을 정밀 조정한다.
• 특히 복잡하거나 노이즈가 많은 분포에서의 안정성과 대표성을 향상시키기 위해 재표본화 및 가중치 조정을 활용하여 선택된 프로토타입의 품질을 향상시킨다.
• 합성 데이터(진실값이 알려진 경우)와 실세계 데이터셋(digits, wine, boston, diabetes, faces)를 사용하여 30회의 반복을 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 통계적 이동 외에 대표적 데이터 샘플의 변화를 통해 개념의 변화를 어떻게 의미 있게 설명할 수 있는가?
• RQ2 어느 클러스터링 및 정밀 조정 전략이 가장 명확하게 기저의 변화를 반영하는 프로토타입을 식별하는가?
• RQ3 재표본화 및 가중치 조정이 변화 설명에서 식별 가능성과 일관성에 얼마나 기여하는가?
• RQ4 다양한 데이터 분포에서 k-means, 유사도 기반 프로토타입, 평균 이동 알고리즘이 변화 관련 프로토타입을 탐지하는 데 어떻게 비교되는가?
• RQ5 제안된 방법이 프로토타입의 진화를 시각화함으로써 인간 사용자가 모델 적응이 필요한 *이유*를 직관적으로 이해할 수 있도록 할 수 있는가?

주요 결과

• 재표본화 및 가중치 조정을 적용한 유사도 기반 프로토타입과 k-means는 모든 벤치마크 데이터셋에서 기준선 방법을 뛰어넘는 일관된 성능을 보였다.
• digits 및 faces 데이터셋에서 k-means는 각각 평균 식별 가능성 점수 0.84와 0.80을 기록했으며, 기준선 k-means(0.49 및 0.29)보다 유의미하게 뛰어났다.
• 유사도 기반 프로토타입은 digits 데이터셋에서 최고의 평균 식별 가능성(0.87)을 기록하여 중요한 변화 패tern을 탐지하는 데 뛰어난 성능을 보였다.
• 평균 이동 알고리즘은 회귀 및 고클래스 데이터셋에서 높은 변동성과 열악한 성능(예: faces에서 0.34)을 보여, 프로토타입 선택의 불안정성을 드러냈다.
• 진실값이 알려진 합성 데이터에서 재표본화가 식별 가능성(i)을 유의미하게 향상시켰고, 차원 수가 높은 정규 분포에서 일관성(C)에 상당한 영향을 미쳤다.
• 결과적으로 일관성(C)을 직접 최적화하는 것보다 식별 가능성(i)에 집중하는 것이 더 효과적이며, 후자는 고밀도 추정 오차에 의해 상쇄될 수 있음을 시사한다.