[논문 리뷰] MDL-motivated compression of GLM ensembles increases interpretability and retains predictive power

Boris Hayete, Matthew Valko외 2명|arXiv (Cornell University)|2016. 11. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 1인용 수 3

한 줄 요약

이 논문은 일반선형모형(GLM) 앙상블에 대해 최소기록길이(MDL) 기반 압축 방법을 제안하며, 예측 성능의 최소한의 손실로 해석 가능성의 급격한 향상을 이룬다. 계층적 군집화를 통해 GLM 계수를 군집화하고, 각 군집을 중심점으로 요약함으로써 앙상블 크기를 줄였으며, AUC를 유지한다. 다양한 데이터셋에서 전체 앙상블과 거의 동일한 성능을 보이며, 폐암세포암세포에서 0.67의 AUC, 백혈병에서 0.99의 AUC를 기록한다.

ABSTRACT

Over the years, ensemble methods have become a staple of machine learning. Similarly, generalized linear models (GLMs) have become very popular for a wide variety of statistical inference tasks. The former have been shown to enhance out- of-sample predictive power and the latter possess easy interpretability. Recently, ensembles of GLMs have been proposed as a possibility. On the downside, this approach loses the interpretability that GLMs possess. We show that minimum description length (MDL)-motivated compression of the inferred ensembles can be used to recover interpretability without much, if any, downside to performance and illustrate on a number of standard classification data sets.

연구 동기 및 목표

• 고도로 복잡한 모델로 인해 투명성이 떨어지는 GLM 앙상블에서의 해석 가능성-정확도 트레이드오프 문제를 해결하기 위해.
• 예측 능력을 훼손하지 않고도 큰 GLM 앙상블을 간결하고 해석 가능한 요약으로 압축하는 방법을 개발하기 위해.
• 모델 투명성이 필수적인 고위험 분야인 번역 의학 분야에서의 실용적 앙상블 모델 구현을 가능하게 하기 위해.
• MDL 원칙에 기반한 중심점 기반 압축이 전체 앙상블과 비교해 유사한 성능을 유지하는지 검증하기 위해.

제안 방법

• GLM 앙상블 구성원을 고차원 유클리드 공간 내 계수 벡터로 표현하며, 특징 표현으로 통계적 유의성(−log p-값)을 사용한다.
• 유사한 GLM 모델의 계수 패턴을 기반으로 계층적 군집화를 적용하여 예측 구조가 유사한 모델 군집을 식별한다.
• 각 군집의 모델에 존재하는 항들만을 사용하여 중심점 모델을 재적합함으로써, 해석 가능성과 희박성(스퍼스리티)을 확보한다.
• 모델 적합도와 기록길이의 균형을 이루기 위해 베이지안 정보 기준(BIC)을 점수 함수로 사용하며, 군집 선택과 압축을 이끌어낸다.
• 3개의 폴드와 3회의 반복을 통해 외부 샘플 AUC와 대응 t-검정을 사용하여 성능 안정성을 평가한다.
• 메도이드 기반 및 중심점 기반 요약 전략을 비교하며, 전체 앙상블을 기준선으로 삼는다.

실험 결과

연구 질문

• RQ1 MDL 기반 GLM 앙상블 압축은 예측 성능을 유지하면서도 해석 가능성을 극적으로 향상시킬 수 있는가?
• RQ2 예측 정확도와 모델 단순성 측면에서 중심점 기반 압축은 메도이드 기반 압축보다 어떻게 비교되는가?
• RQ3 앙상블 압축이 외부 샘플 AUC를 떨어뜨리지 않고 모델 크기와 복잡도를 얼마나 줄일 수 있는가?
• RQ4 다양한 데이터셋에서 압축된 앙상블의 성능 저하가 통계적으로 유의미한가?

주요 결과

• 중심점 기반 압축된 GLM 앙상블은 폐암세포암세포 데이터셋에서 외부 샘플 AUC 0.67를 기록했으며, 전체 앙상블과 동일한 성능(일측 t-검정에서 p = 0.07)을 보였다.
• 백혈병 데이터셋에서는 중심점 기반 압축된 앙상블이 AUC 0.99를 기록했으며, 전체 앙상블과 동일한 성능를 보이며 유의미한 성능 손실가 없었다.
• 메도이드 기반 압축된 앙상블은 폐암세포암세포 데이터셋에서 약간의 유의미한 성능 저하가 있었으며(p = 0.004), AUC는 0.63으로 전체 앙상블의 0.67보다 낮았다.
• 중심점 기반 압축 전략은 폐암세포암세포 데이터셋에서 총 두 개의 모델에 3개의 예측 변수만을 포함한 모델로 압축되었으며, 이는 압축되지 않은 앙상블의 해석이 불가능한 수치에 비해 훨씬 낮은 복잡도를 지녔다.
• 성능 저하가 미미했으며, 중심점 기반 압축의 경우 통계적으로 암시적인 결과(0.05 < p < 0.1)를 보이며 다양한 데이터셋에서의 강건성을 입증했다.
• 이 방법은 압축된 모델의 수동 점검을 가능하게 하여, 특히 표본 수가 적은 경우(p >> n) 계수 표준오차에서의 과적합 패턴을 드러냈다.