[논문 리뷰] Interpreting Classifiers through Attribute Interactions in Datasets

Andreas Henelius, Kai Puolamäki외 1명|arXiv (Cornell University)|2017. 07. 24.

Imbalanced Data Classification Techniques참고 문헌 16인용 수 31

한 줄 요약

이 논문은 데이터 요소 분해를 통해 상호작용을 식별함으로써 블랙박스 분류기의 해석을 위한 새로운 방법인 astrid를 제안한다. 이 방법은 원본 데이터로 훈련된 분류기와 재정렬(요소 분해된) 데이터로 훈련된 분류기의 성능이 통계적으로 구분되지 않을 수 있는 최대 기수의 속성 조합을 자동으로 발견한다. 이는 분류기가 데이터 분포나 모델 유형을 가정하지 않고 공동 속성 의존성을 어떻게 활용하는지 밝혀낸다.

ABSTRACT

In this work we present the novel ASTRID method for investigating which attribute interactions classifiers exploit when making predictions. Attribute interactions in classification tasks mean that two or more attributes together provide stronger evidence for a particular class label. Knowledge of such interactions makes models more interpretable by revealing associations between attributes. This has applications, e.g., in pharmacovigilance to identify interactions between drugs or in bioinformatics to investigate associations between single nucleotide polymorphisms. We also show how the found attribute partitioning is related to a factorisation of the data generating distribution and empirically demonstrate the utility of the proposed method.

연구 동기 및 목표

• 어떤 입력 속성 간의 상호작용을 드러내어 투명하지 않은 분류기의 해석 방법을 개발하는 것.
• 데이터 요소 분해 후 성능이 통계적으로 구분되지 않을 수 있는 최대 기수의 속성 조합을 식별하는 것.
• 모든 분류기와 데이터 분포에 적용 가능한 일반적이고 가정 없는 접근법을 제공하는 것.
• 분류기가 실제로 활용하는 상호작용 구조를 반영하는 속성 조합을 실용적으로 발견하는 것.
• 다양한 속성 간 상호작용이 핵심적인 약물안전성 모니터링 및 생정보학과 같은 분야에서의 실용적 응용을 지원하는 것.

제안 방법

• 제안된 속성 조합 $\mathcal{S}$ 가 유효한지 평가하기 위해 원본 데이터와 $\mathcal{S}$ 에 따라 재정렬된 데이터로 분류기를 훈련한 후 성능을 비교한다.
• 요소 분해된 데이터의 다수의 랜덤 샘플에 대해 신뢰구간(CI)을 사용하여 원본 분류기의 정확도가 요소 분해된 분류기의 성능과 통계적으로 구분되는지 평가한다.
• 원본 분류기의 정확도가 요소 분해된 분류기 성능의 CI 내에 포함될 경우, 그 조합 $\mathcal{S}$ 는 유효하다고 간주된다.
• 최대 기수 조합을 찾기 위해 반복적으로 조합을 테스트하고 CI 기반 가설 검정을 통해 검증하는 알고리즘을 사용한다.
• 요소 분해 $P(X|C; \mathcal{S}) = \prod_{S \in \mathcal{S}} P(X(\cdot,S)|C)$ 가 진정한 조건부 클래스 구조를 반영한다면, 분류기는 재정렬된 데이터로 훈련해도 정확도를 잃지 않을 것이다라는 가정에 기반한다.
• 이 방법은 계산적으로 효율적이며 다항 시간 내에 실행되어 중간 크기의 데이터셋에 대해 확장 가능한 성능을 보인다.

실험 결과

연구 질문

• RQ1 주어진 속성 조합이 분류기가 실제로 활용하는 진정한 상호작용 구조를 반영하는지 여부를 판단할 수 있는가?
• RQ2 데이터 요소 분해 후 성능이 통계적으로 구분되지 않을 수 있는 최대 기수의 속성 조합은 무엇인가?
• RQ3 기존 방법과 비교해 볼 때 제안된 방법은 지도학습에서 속성 상호작용을 식별하는 데 어떻게 다른가?
• RQ4 이 방법은 실제 데이터셋에서 의미 있는 비트리비얼 속성 상호작용을 어느 정도 드러내는가?
• RQ5 데이터 크기, 분류기 유형, 상호작용 강도의 변화에 대해 이 방법은 얼마나 강인한가?

주요 결과

• 4개의 속성을 가진 시뮬레이션 데이터셋에서 astrid는 SVM과 랜덤 포레스트 모두에 대해 $\mathcal{S} = \{\{1,2\}, \{3\}, \{4\}\}$ 를 유효한 조합으로 정확히 식별했으며, 원본 정확도가 요소 분해 모델의 CI를 초과했다.
• 나이브 베이즈 실험에서는 분류기의 정확도가 모든 요소 분해에서 변화하지 않아, 기계적으로 단순한 조합 $\mathcal{S} = \{\{1\}, \{2\}, \{3\}, \{4\}\}$ 를 정확히 식별했다.
• UCI 밸런스스케일 데이터셋에서 astrid는 크기가 3인 조합을 발견했고, 가장 큰 그룹은 크기 2였다. Ojala & Garriga(2010) 검정의 p값은 0.03으로, 통계적으로 약간의 유의성을 보였다.
• 버섯 데이터셋에서는 크기가 15인 조합을 식별했고, 가장 큰 그룹은 크기 7이었으며, 분류기는 99.5%의 정확도를 기록했고, p값은 0.00이었으며, 이는 상호작용 구조에 강력한 증거가 있음을 시사했다.
• kr-vs-kp 데이터셋에서는 크기가 33인 조합을 발견했고, 가장 큰 그룹은 크기 4였으며, p값은 0.00이었고, 이는 요소 분해가 유효하지 않음을 의미했으며, 높은 상호작용 복잡성과 일치했다.
• 이 방법은 SVM, 랜덤 포레스트, 나이브 베이즈 등 다양한 분류기에서 뚜렷한 일관성을 보였으며, 시뮬레이션 및 실제 데이터셋 모두에서 유사한 결과를 보였다.