[논문 리뷰] Learning Qualitatively Diverse and Interpretable Rules for Classification

Andrew Slavin Ross, Weiwei Pan외 1명|arXiv (Cornell University)|2018. 06. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 2인용 수 6

한 줄 요약

이 논문은 훈련 중 모델 기울기 간 국소적 독립성을 강제함으로써 정량적으로 다양한 해석 가능한 분류 규칙의 최대 집합을 학습하는 방법을 제안한다. 기존 표준 방법이 여러 정확한 규칙을 복잡한 모델로 통합하는 데 반해, 본 방법은 서로 다른 단순하고 인간이 이해할 수 있는 기능들을 식별하고 분리한다. 이는 분리된 데이터 생성 작업에서 실험적으로 검증되었으며, 표준 훈련 방식보다 더 정확하게 개별 생성 인자를 회복함을 보여준다.

ABSTRACT

There has been growing interest in developing accurate models that can also be explained to humans. Unfortunately, if there exist multiple distinct but accurate models for some dataset, current machine learning methods are unlikely to find them: standard techniques will likely recover a complex model that combines them. In this work, we introduce a way to identify a maximal set of distinct but accurate models for a dataset. We demonstrate empirically that, in situations where the data supports multiple accurate classifiers, we tend to recover simpler, more interpretable classifiers rather than more complex ones.

연구 동기 및 목표

• 표준 머신러닝 방법이 여러 정확하고 해석 가능한 분류기들을 복잡하고 해석하기 어려운 모델로 혼합하는 데서 비롯되는 한계를 해결하기 위해.
• 주어진 데이터셋에 대해 최대 크기의 다양하고 정확하며 해석 가능한 분류기 집합을 체계적으로 정의하고 식별하기 위해.
• 모델의 기울기 반응이 국소적으로 독립적이게 하는 훈련 방법을 개발하여 정량적 다양성을 촉진하기 위해.
• 다양한 모델이 복합 모델보다 더 잘 일반화되고 더 해석 가능하다는 것을 입증하기 위해.
• 국소적 독립성 훈련이 표현이 완벽하게 분리되지 않은 경우에도 개별 생성 인자를 회복할 수 있음을 보여주기 위해.

제안 방법

• 작은 입력 편향에 대해 분류 함수가 국소적으로 독립적인 모델 집합을 최대 크기의 다양하고 해석 가능한 분류기로 정의한다.
• 모델 간 기울기의 수직성에 대한 페널티를 포함하는 손실 함수를 사용해 앙상블 모델을 훈련함으로써 국소적 독립성을 강제한다.
• 입력 편향에 대한 모델 반응의 통계적 독립성의 대체 지표로 기울기 수직성을 사용한다.
• 분리된 VAE(β-VAE)의 잠재 표현에서 분류기를 훈련함으로써 딥 네ural 네트워크에 본 방법을 적용한다.
• 개별 생성 인자를 고립한 테스트 세트에서의 정확도와 특징 시각화를 통해 모델의 다양성과 해석 가능성 평가한다.
• 훈련 중에 국소적 독립성 페널티를 적용하여 각 모델이 서로 다른 입력 특징 또는 잠재 인자 집합에 의존하도록 유도한다.

실험 결과

연구 질문

• RQ1 여러 분류 함수가 데이터에 존재할 경우, 최대 크기의 독립적이고 정확하며 해석 가능한 분류 함수 집합을 식별하고 회복할 수 있는가?
• RQ2 모델 기울기 간 국소적 독립성을 강제하면 표준 훈련 대비 더 단순하고 해석 가능한 모델이 도출되는가?
• RQ3 잠재 표현이 완벽하게 분리되지 않은 경우에도 국소적 독립성 훈련이 분리된 데이터 분포에서 개별 생성 인자를 분리할 수 있는가?
• RQ4 다양한 테스트 분포에서 정확도와 일반화 성능 측면에서 다양한 모델과 표준 모델 간의 성능 비교는 어떻게 되는가?
• RQ5 제안된 방법은 노이즈와 알려지지 않은 수의 기저 예측 함수가 존재할 경우에도 안정적인가?

주요 결과

• 표준 훈련 방법은 여러 정확한 결정 규칙을 복잡하고 조밀한 모델로 통합하여 해석하기 어려운 결과를 낳는다.
• 제안된 국소적 독립성 훈련 방법은 분리된 데이터 분포에서 개별적이고 단순하며 해석 가능한 함수(예: 위치, 크기)를 성공적으로 회복한다.
• dSprites 데이터셋에서 국소적 독립성 훈련은 개별 잠재 인자를 고립한 테스트 세트에서 표준 훈련보다 유의미하게 높은 정확도를 달성했다(예: x-위치, y-위치).
• 이 방법은 각 모델이 오직 하나의 생성 인자에만 의존하는 모델을 회복한 반면, 표준 모델은 모든 요소에 민감하게 반응하여 더 나은 분리도를 보였다.
• 잠재 표현이 완벽하게 분리되지 않은 경우에도 국소적 독립성 방법은 표준 훈련보다 더 나은 분리도를 달성했다.
• 다양한 모델은 완벽한 훈련 정확도를 달성하지 못했으며, 이는 정확도와 독립성 간의 부드러운 트레이드오프를 보여주며, 둘 다 동시에 달성할 수 없는 상황임을 시사한다.