[논문 리뷰] Fibres of Failure: Classifying errors in predictive processes

Leo S. Carlsson, Gunnar Carlsson외 1명|arXiv (Cornell University)|2018. 02. 09.

Anomaly Detection Techniques and Applications참고 문헌 45인용 수 6

한 줄 요약

FiFa는 예측 모델의 실패 모드를 예측 오차에 따라 입력 데이터를 계층화하는 Mapper 알고리즘을 사용하여 위상적 데이터 분석 기법으로 분류하는 방법이다. 손상된 MNIST 이미지에서 명백한 실패 모드를 식별하여, 정확도를 최대 19.33% 향상시키면서도 정상 데이터의 0.32%만 잘못 수정하는 수정 레이어를 가능하게 한다.

ABSTRACT

We describe Fibres of Failure (FiFa), a method to classify failure modes of predictive processes using the Mapper algorithm from Topological Data Analysis. Our method uses Mapper to build a graph model of input data stratified by prediction error. Groupings found in high-error regions of the Mapper model then provide distinct failure modes of the predictive process. We demonstrate FiFa on misclassifications of MNIST images with added noise, and demonstrate two ways to use the failure mode classification: either to produce a correction layer that adjusts predictions by similarity to the failure modes; or to inspect members of the failure modes to illustrate and investigate what characterizes each failure mode.

연구 동기 및 목표

• 예측 모델의 실패 모드를 위상적 데이터 분석을 통해 체계적으로 진단하고 분류하는 방법을 개발하는 것.
• 특히 노이즈나 손상 조건에서 일관되게 실패하는 입력 공간의 영역을 식별하는 것.
• 식별된 실패 패턴과 유사성을 기반으로 새로운 입력을 기존 실패 모드에 할당하여 수정 조치를 가능하게 하는 것.
• 특정 유형의 잘못된 예측과 관련된 입력 데이터의 특징이나 구조를 드러내어 해석 가능성 제공

제안 방법

• 예측 오차에 따라 입력 데이터를 계층화한 위상적 데이터 분석에서의 Mapper 알고리즘을 적용하여 그래프 모델을 구축한다.
• 연속적인 필터 함수를 사용하여 오차 크기에 기반해 데이터 공간을 겹치는 영역으로 분할함으로써 위상적 구조를 유지한다.
• 고오차 영역의 연결된 성분을 별개의 실패 모드로 식별하며, 이는 유사한 잘못된 예측 행동을 보이는 클러스터로 간주한다.
• 실패 모드의 시드를 기반으로 분류기(예: 로지스틱 회귀 또는 SVM)를 훈련시어 새로운 입력을 실패 모드에 할당하여 수정한다.
• 식별된 실패 모드의 평균 오차를 모델 출력에서 빼는 방식으로 예측을 수정하는 수정 레이어를 구현한다.
• Mapper에 입력으로 사용하기 위해 최전단 및 그 전 단계의 활성화 값을 사용하여 노이즈가 첨가된 MNIST에 대해 CNN에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 예측 모델의 실패 모드를 위상적 데이터 분석을 통해 체계적으로 분류할 수 있는가?
• RQ2 내부적으로 일관되지만 예측 오차 또는 입력 공간 특성 측면에서 상이한 실패 모드를 식별할 수 있는가?
• RQ3 실패 모드 분류를 통해 표적 수정 레이어를 적용할 경우 예측 정확도 향상 정도는 어느 정도인가?
• RQ4 특정 실패 모드에 속하는 입력의 특징을 점검함으로써 모델 행동에 대한 어떤 통찰을 얻을 수 있는가?
• RQ5 이 방법은 이미지 분류를 넘어서 회귀 모델과 같은 다른 예측 과정으로 일반화될 수 있는가?

주요 결과

• FiFa는 최전단 및 그 전 단계의 활성화 값을 사용하여 노이즈가 섞인 MNIST 이미지에 대해 훈련된 CNN에서 39개의 별개의 실패 모드를 식별했다.
• 실패 모드 분류 기반의 수정 레이어를 적용함으로써 손상된 MNIST 데이터에서 예측 정확도가 19.33% 절대적으로 향상되었다.
• 정상(손상되지 않은) 이미지 중 오직 0.32%만 잘못 수정되어 실패 모드 탐지의 높은 특이도를 입증했다.
• 실패 모드 그룹은 신경 활성화 패턴으로 구분 가능했다: 숫자 5의 경우 실패 모드는 빈 지도를 보이는 뉴런의 특성을 보였다.
• 수정 레이어는 오류율을 크게 감소시켰으며 정상 데이터의 품질을 유지했으며, 실패 모드 그룹의 0.21%가 정상 이미지였다.
• 이 방법은 강철 고로 온도 예측을 위한 회귀 모델로도 일반화되었으며, 실패 모드는 약 100°C의 일관된 과대 및 과소 예측 편향을 드러내어 의미 있는 수정과 금속학적 통찰을 가능하게 했다.