[논문 리뷰] Prediction Scores as a Window into Classifier Behavior

Medha Katehara, Emma Beauxis-Aussalet외 1명|ArXiv.org|2017. 11. 18.

Machine Learning and Data Classification참고 문헌 3인용 수 3

한 줄 요약

이 논문은 다중 클래스 분류기 예측 점수를 분석하여 분류기의 행동, 신뢰성, 편향을 드러내는 상호작용식 웹 기반 시각화 시스템인 Classilist를 소개한다. 점수 분포를 분류 정확성과 샘플 특성에 연결함으로써, 각 클래스별 세부 분석이 가능해지며, 잘못된 분류 패tern, 점수 校정 오차, 클래스별 편향과 같은 문제를 드러낸다. 이를 통해 모델의 해석성과 설계를 향상시키는 통찰을 제공한다.

ABSTRACT

Most multi-class classifiers make their prediction for a test sample by scoring the classes and selecting the one with the highest score. Analyzing these prediction scores is useful to understand the classifier behavior and to assess its reliability. We present an interactive visualization that facilitates per-class analysis of these scores. Our system, called Classilist, enables relating these scores to the classification correctness and to the underlying samples and their features. We illustrate how such analysis reveals varying behavior of different classifiers. Classilist is available for use online, along with source code, video tutorials, and plugins for R, RapidMiner, and KNIME at https://katehara.github.io/classilist-site/.

연구 동기 및 목표

• 다중 클래스 분류기에서 상위 클래스 예측 이외의 예측 점수에 대한 체계적인 분석 부족 문제를 해결하기 위해.
• 연구자와 실무자가 점수 분포의 시각적 탐색을 통해 분류기 행동, 신뢰성, 데이터 품질 문제를 진단할 수 있도록 하기 위해.
• 예측 점수를 분류 정확성과 기초 샘플 특성과 연결하는 상호작용식, 확장성 있고 접근성 있는 도구를 제공하기 위해.
• 점수 패턴, 임의 양성 분포, 클래스별 행동을 시각화하여 다양한 분류기 간 비교 분 析를 지원하기 위해.
• R, RapidMiner, KNIME용 플러그인과 웹 기반 인터페이스를 통해 예측 점수 분석을 접근 가능하게 하기 위해.

제안 방법

• Classilist는 각 클래스의 예측 점수 분포를 히스토GRAM 기반의 시각화로 표현하며, 분류 결과(정확한 양성, 잘못된 양성, 잘못된 음성)에 따라 색상으로 구분한다.
• 다중 뷰 간 브러싱 및 연결 기능을 통합: 점수 히스토GRAM, 특성 박스 플롯, 혼동 행렬, 세부 점검을 위한 샘플 뷰어.
• 사용자는 분류 정확성과 점수 범위로 샘플을 필터링하고, 효과적인 점수 범위에 집중하기 위해 확률 축을 동적으로 조정할 수 있다.
• 시스템은 상호작용식 탐색을 지원한다: 히스토GRAM 막대를 클릭하면 모든 뷰(다른 클래스에서 잘못 분류된 인스턴스 포함)에서 해당하는 샘플이 강조 표시된다.
• 비제로 점수를 가진 진짜 음성 샘플을 필터링하여 경계선 사례와 잠재적 잘못 분류 위험을 탐지할 수 있다.
• Classilist는 오픈소스 코드를 기반으로 한 웹 애플리케이션으로 구축되었으며, R, RapidMiner, KNIME용 플러그인을 포함하여 머신러닝 파이프라인에 통합할 수 있다.

실험 결과

연구 질문

• RQ1 다양한 분류기 간 예측 점수 분포는 어떻게 달라지며, 이는 모델 행동에 대해 어떤 통찰을 제공하는가?
• RQ2 높은 신뢰도 예측이 정확한 분류와 얼마나 관련되어 있으며, 높은 점수에도 불구하고 실패하는 경우는 어디에 있는가?
• RQ3 점수 분포의 시각화로 클래스별 편향 또는 데이터 품질 문제(예: 잘못 레이블링된 샘플, 클래스 겹침 등)를 어떻게 드러낼 수 있는가?
• RQ4 점수 분포의 상호작용적 탐색이 잘못 분류의 원인(특성 수준 패턴 또는 모호한 샘플 표현 등)을 식별하는 데 어떻게 기여하는가?
• RQ5 십 개 이상의 클래스에 대해 효과적으로 확장되면서도 해석 가능성과 상호작용성을 유지할 수 있는 시각화 시스템은 어떻게 설계할 수 있는가?

주요 결과

• k=2인 k-최근접 이웃 분류기에서 숫자 '5'에 대해 삼중 모드 히스토GRAM을 생성하여 이웃 클래스 구성에 따라 명확한 클러스터를 드러냈다. 세 개의 피크는 각각 이웃에 '5' 샘플이 2개, 1개, 0개일 경우에 해당한다.
• 나이브 베이즈 분류기에서는 '5' 클래스의 최고 점수 박스에 잘못된 양성의 집중도가 높아, 높은 신뢰도 예측에도 불구하고 균형 잡히지 않은 성능을 보였다.
• 신경망 분류기에서는 점수 값이 낮아질수록 오류율이 점진적으로 증가하는 경향을 보여, 낮은 신뢰도 수준에서 더 일관되지만 덜 신뢰할 수 있는 행동을 보였다.
• '5' 클래스는 정확하게 분류된 경우에도 낮은 점수를 지속적으로 부여받는 경향이 있었으며, 이는 데이터셋 내 높은 내부 클래스 변동성으로 인한 강력한 편향을 시사했다.
• '5' 클래스에 대해 20%에서 40% 사이의 점수를 가진 샘플은 거의 전부 실제 '5'였지만 잘못 분류되었으며, 이는 점수 재보정과 가중치 적용을 통해 오류를 줄일 수 있으나 양성 오류는 증가시키지 않는다는 것을 시사한다.
• 시각화 결과, 특정 클래스에 대해 비제로 점수를 가진 진짜 음성 샘플은 입력의 미세한 변형에 민감하게 반응하는 경계선 사례로, 잘못 분류 위험이 매우 높다는 것이 드러났다.