[논문 리뷰] Probability Series Expansion Classifier that is Interpretable by Design

Sapan Agarwal, Corey Hudson|arXiv (Cornell University)|2017. 10. 27.

Adversarial Robustness in Machine Learning참고 문헌 1인용 수 3

한 줄 요약

이 논문은 측정된 학습 데이터 확률에서 직접 계산된 계층적 시리즈 전개를 통해 클래스 확률을 직접 추정하는 새로운 해석 가능한 분류기 기법을 제안한다. 다수의 특징 조합을 통한 추정치 개선과 극단적 확률에 대한 가중치 부여를 통해 랜덤 포레스트 수준의 정확도를 달성하면서도, 특징 기여도와 모델 동작의 완전한 감사 가능성을 보장한다.

ABSTRACT

This work presents a new classifier that is specifically designed to be fully interpretable. This technique determines the probability of a class outcome, based directly on probability assignments measured from the training data. The accuracy of the predicted probability can be improved by measuring more probability estimates from the training data to create a series expansion that refines the predicted probability. We use this work to classify four standard datasets and achieve accuracies comparable to that of Random Forests. Because this technique is interpretable by design, it is capable of determining the combinations of features that contribute to a particular classification probability for individual cases as well as the weightings of each of combination of features.

연구 동기 및 목표

• 모델 투명성이 필수적인 고위험 의사결정 시스템에서의 해석 가능한 기계학습의 필수적 필요성 해결.
• 정확도를 위해 해석 가능성의 희생을 감수하는 랜덤 포레스트와 같은 복잡한 모델의 본질적 투명성 부족 문제 해결.
• 복잡한 최적화 및 정규화 과정 없이도 측정된 학습 데이터 확률을 직접 사용하여 클래스 결과를 추정하는 분류기 개발.
• 특정 예측에 대해 어떤 특징 조합과 개별 특징이 가장 큰 기여를 했는지 직접 감사할 수 있도록 보장.
• 랜덤 포레스트와 같은 최첨단 모델 수준의 높은 예측 정확도를 유지하면서도 설계부터 해석 가능성 보장.

제안 방법

• 학습 데이터에서 측정된 확률의 계층적 시리즈 전개를 사용하여 클래스 확률을 추정하며, 가장 구체적인 특징 조합에서 시작한다.
• 낮은 수준의 확률(예: P(Y|xi) 및 P(Y|xi,xj))을 가중 평균을 사용하여 고수준 추정치로 통합함으로써 확률 추정치를 반복적으로 개선한다.
• 확률이 0 또는 1에 가까운 경우에 더 큰 영향을 주기 위해 스케일링 가중치 Si = 1 / (Pi′ × (1 − Pi′))를 적용한다.
• 표본 수(Ni / N) 및 유용성 가중치(Ui)를 통한 정규화 항을 도입하여 낮은 표본 수에서의 추정치 노이즈를 감소시킨다.
• 지니 불순도 또는 엔트로피를 사용하여 정보가 적은 특징 조합을 선택적으로 제거함으로써 모델 크기를 제한하면서도 정확도를 유지한다.
• 누락된 특징은 추정 과정에서 해당 확률 항을 생략함으로써 실제 환경에서의 강건성을 유지한다.

실험 결과

연구 질문

• RQ1 예측 정확도를 희생시키지 않고 설계 단계부터 해석 가능한 분류기를 설계할 수 있는가?
• RQ2 측정된 학습 데이터 확률을 체계적으로 조합하여 정확하고 해석 가능한 클래스 예측을 도출할 수 있는가?
• RQ3 특징 수준 및 조합 수준의 기여도를 얼마나 정량화하고 시각화할 수 있는가?
• RQ4 극단적 확률 추정치(0 또는 1에 가까운 값)가 전체 예측 안정성에 미치는 영향은 무엇이며, 적절한 가중치를 어떻게 설정할 수 있는가?
• RQ5 확률의 시리즈 전개 방식이 랜덤 포레스트와 같은 앙상블 방법과 비교해도 성능가능성을 확보하면서도 완전히 투명한가?

주요 결과

• 확률 시리즈 전개 분류기는 네 가지 표준 데이터셋에서 scikit-learn의 랜덤 포레스트 구현과 비교해 유사한 분류 정확도를 달성했다.
• 모델은 직접적으로 어떤 특징 조합이 예측에 가장 큰 기여를 했는지 식별하고 기여도 가중치를 명시함으로써 완전한 해석 가능성을 제공한다.
• Congressional Voting Records 데이터셋의 잘못 분류된 인스턴스에서, x3=1, x9=1, x15=0 조합이 12.5%의 기여도를 가지며 공화당로 분류될 확률이 100%였다.
• x9=1과 x3=1과 같은 개별 특징은 특정 조합에서 강력한 예측 능력을 보여 17%와 16%의 높은 기여도 가중치를 할당받았다.
• 모델은 학습 데이터 내 모순된 증거를 성공적으로 식별했으며, 예를 들어 일부 특징 조합은 공화당 소속일 가능성이 0%로 예측하고 동시에 100%로도 예측하는 경우를 발견했다.
• 표본 수 및 불확실성 보정 항목의 포함으로 인해 강건성이 크게 향상되어 낮은 표본 수에서의 스케일링 가중치 폭발 문제를 방지했다.