[논문 리뷰] Understanding Prediction Discrepancies in Machine Learning Classifiers

Xavier Renard, Thibault Laugel외 1명|arXiv (Cornell University)|2021. 04. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 12인용 수 6

한 줄 요약

이 논문은 동일한 데이터로 훈련된 고성능 분류기 간의 국소 예측 불일치를 탐지하고 설명하기 위한 모델에 종속되지 않는 방법인 DIG(Discordance Intervals Generation)를 제안한다. 훈련 데이터를 활용해 특성 기반 불일치 영역를 식별함으로써, DIG는 실질적인 국소적 설명을 제공하여 실무자들이 고위험 예측을 피하고 더 나은 모델 선택을 할 수 있도록 돕는다. 평가 결과, 검증 세트에서 모델 간 불일치율이 10.64%에서 28.81%에 이르는 것으로 나타났다.

ABSTRACT

A multitude of classifiers can be trained on the same data to achieve similar performances during test time, while having learned significantly different classification patterns. This phenomenon, which we call prediction discrepancies, is often associated with the blind selection of one model instead of another with similar performances. When making a choice, the machine learning practitioner has no understanding on the differences between models, their limits, where they agree and where they don't. But his/her choice will result in concrete consequences for instances to be classified in the discrepancy zone, since the final decision will be based on the selected classification pattern. Besides the arbitrary nature of the result, a bad choice could have further negative consequences such as loss of opportunity or lack of fairness. This paper proposes to address this question by analyzing the prediction discrepancies in a pool of best-performing models trained on the same data. A model-agnostic algorithm, DIG, is proposed to capture and explain discrepancies locally, to enable the practitioner to make the best educated decision when selecting a model by anticipating its potential undesired consequences. All the code to reproduce the experiments is available.

연구 동기 및 목표

• 여러 분류기가 유사한 성능를 달 đạt하고도 예측에서 불일치함에도 불구하고, 모델 선택 시 해석 가능성의 부족 문제를 해결하기 위해.
• 동일한 데이터셋으로 훈련된 모델들 간의 국소 예측 불일치를 식별하고 설명하기 위해, 특히 모델들이 불일치하는 영역에서.
• 불일치에 대한 실질적인 특성 수준의 설명을 제공하여 고위험 기계학습 응용 분야에서의 더 나은 의사결정 지원을 위해.
• 모델 선택으로 인한 부당성 또는 기회 상실 등의 부정적 영향을 사전에 예측할 수 있도록 돕기 위해.
• 집계된 지표를 넘어서, 국소적이고 근거 있는 모델 불일치 설명을 제공함으로써 모델 신뢰도를 향상시키기 위해.

제안 방법

• DIG는 훈련 데이터의 그래프 기반 표현을 구축한다. 여기서 노드는 데이터 포인트를 나타내고, 엣지는 특성 거리 기반 유사성에 따라 연결된다.
• 동일한 데이터 포인트에서 여러 모델의 예측을 비교함으로써, 서로 다른 예측을 내는 불일치 노드(Discrepancy Nodes)를 식별한다.
• 각 인스턴스에 대해, 개선된 그래프에서 k-NN를 사용하여 불일치 간격을 계산하여, 모델 불일치가 발생하는 특성 값의 범위를 포괄한다.
• 알고리즘은 가장 가까운 불일치 간격을 집계하여, 주어진 예측에 대해 종합적이고 특성 기반의 국소 불일치 설명을 제공한다.
• 모델 내부에 대한 접근이 필요 없이 훈련 데이터를 활용함으로써 모델에 종속되지 않으며, 계산 효율성도 확보한다.
• 불일치 노드에 대해 클러스터링(예: t-SNE 및 k-means)을 수행하여 특성 공간 내 불일치의 공간적 패턴을 시각화하고 이해한다.

실험 결과

연구 질문

• RQ1 동일한 데이터로 훈련된 고성능 분류기들이 유사한 전체 성능를 보이지만 국소 예측 불일치가 심각하게 발생하는 이유는 무엇인가?
• RQ2 입력 공간에서 모델 불일치의 주요 원인이 되는 특성나 영역는 무엇인가?
• RQ3 모델 내부 정보에 의존하지 않고도 국소적이고 실질적인 불일치 설명을 생성할 수 있는가?
• RQ4 실무자들이 불일치 설명을 어떻게 활용하여 고위험 예측을 피하거나 모델 신뢰도를 향상시킬 수 있는가?
• RQ5 특성 공간 전반에 걸쳐 불일치의 공간적 및 구조적 패턴은 어떠한가? 이러한 패턴은 데이터 수집 또는 모델 개선을 안내하기 위해 시각화할 수 있는가?

주요 결과

• 시험한 데이터셋에서 성능가장 우수한 분류기들 간 성능 차이가 5% 미만이었지만, 검증 인스턴스의 10.64%에서 28.81% 범위에서 불일치를 보였으며, 이는 예측 불일치의 광범위한 존재를 시사한다.
• '평균 방 개수(RM)'와 '인구당 범죄율(CRIM)'과 같은 특성들이 국소 모델 불일치의 주요 기여 요소로 일관되게 식별되었다.
• 불일치 영역는 주로 클래스 간 경계 영역에 집중되어 있었으며, 대부분의 경우 하나의 큰 흐릿한 불일치 영역을 형성했다.
• 클러스터 분석을 통해 고CRIM 값(3 초과)을 가진 고립된 높은 불일치 영역가 발견되었으며, 이는 훈련 데이터에서 부족하게 반영되어 모델 불안정성에 취약한 영역였다.
• 각 인스턴스에 대해 가장 가까운 10개의 불일치 간격을 집계함으로써, 단일 간격보다 더 종합적이고 신뢰할 수 있는 설명을 제공하였다.
• DIG는 실질적인 불일치 패tern을 성공적으로 식별하여, 실무자들이 고불일치 영역에서 데이터 수집을 우선시하거나 특별한 주의를 기울일 수 있도록 했다.