[논문 리뷰] Deep interpretable ensembles

Lucas Kook, Andrea Götschi외 3명|arXiv (Cornell University)|2022. 05. 25.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 깊이 있는 변환 모델의 확률적 예측을 집계하면서도 그 내재된 해석 가능성을 유지하는 새로운 방법인 변환 앙상블을 소개한다. 모델 파라미터와 누적분포함수(CDF)를 체계적으로 평균화함으로써, 전통적인 딥 앙상블과 유사한 예측 성능 향상을 이끌어내며, 특정 조건 하에서 최소최대 최적성(minimax optimality)을 보장하고, 애로타닉(aleatoric) 및 엡스테믹(epistemic) 불확실성의 직접적인 정량화를 가능하게 한다.

ABSTRACT

Ensembles improve prediction performance and allow uncertainty quantification by aggregating predictions from multiple models. In deep ensembling, the individual models are usually black box neural networks, or recently, partially interpretable semi-structured deep transformation models. However, interpretability of the ensemble members is generally lost upon aggregation. This is a crucial drawback of deep ensembles in high-stake decision fields, in which interpretable models are desired. We propose a novel transformation ensemble which aggregates probabilistic predictions with the guarantee to preserve interpretability and yield uniformly better predictions than the ensemble members on average. Transformation ensembles are tailored towards interpretable deep transformation models but are applicable to a wider range of probabilistic neural networks. In experiments on several publicly available data sets, we demonstrate that transformation ensembles perform on par with classical deep ensembles in terms of prediction performance, discrimination, and calibration. In addition, we demonstrate how transformation ensembles quantify both aleatoric and epistemic uncertainty, and produce minimax optimal predictions under certain conditions.

연구 동기 및 목표

• 전통적인 딥 앙상블의 핵심적 한계인 해석 가능성 상실 문제를 해결하기 위해, 개별 모델의 내재된 해석 가능성을 유지하는 방법을 개발하는 것.
• 모델 투명성이나 구조를 희생시키지 않고도 앙상블 집계를 통해 예측 성능을 향상시키는 것.
• 모델 파라미터를 통해 직접적으로 해석 가능한 방식으로 애로타닉 및 엡스테믹 불확실성을 신뢰성 있게 정량화하는 것.
• 앙상블의 성능 향상이 모델 유연성의 증가에 기인하는 것이 아니라, 블랙박스 앙상블에 대한 기존의 가정을 도전하는 것.
• 의료와 같은 고위험 분야에서 사용 가능한 이론적으로 탄탄하고 투명한 전통적 딥 앙샘블의 대안을 제공하는 것.

제안 방법

• 변환 앙상블은 다수의 딥 변환 모델에서 예측된 누적분포함수(CDF)를 그들의 CDF에 가중 평균을 취해 집계한다.
• 이 방법은 선형 예측자 계수(예: 로그오즈 또는 위험비율)를 앙상블 구성원 간에 평균화하여 깊이 있는 변환 모델의 덧셈형 해석 가능한 구조를 유지한다.
• 앙상블 가중치는 적합된 검증 세트에서 최적화되어 적절한 스코링 규칙을 최소화함으로써 평균 성능 향상을 보장한다.
• 이 접근법은 적절한 스코링 규칙에 기반하여, 앙상블이 평균적으로 구성원보다 항상 더 나은 성능을 내도록 보장한다.
• 평균화된 모델 파라미터를 직접 해석할 수 있도록 하여, 앙상블의 해석 가능성 유지.
• 모델 파rameter 공간(계수의 분산을 통한)과 함수 공간(예: CDF의 변동성)에서의 엡스테믹 불확실성 추정을 가능하게 하여 불확실성 정량화를 지원한다.

실험 결과

연구 질문

• RQ1 앙상블 방법은 개별 딥 변환 모델의 내재된 해석 가능성을 유지하면서도 예측 성능 향상을 이룰 수 있는가?
• RQ2 체계적으로 CDF와 모델 파라미터를 평균화함으로써 구성원보다 항상 더 나은 예측 성능를 달성할 수 있는가?
• RQ3 변환 앙상블은 직접적으로 해석 가능한 방식으로 애로타닉 및 엡스테믹 불확실성을 정량화할 수 있는가?
• RQ4 전통적 딥 앙상블의 성능 향상은 모델의 유연성 증가 때문인가, 아니면 해석 가능성 손실 없이도 체계적인 앙상블이 동일한 결과를 낼 수 있는가?
• RQ5 어떤 조건에서 변환 앙상블이 이진 결과 예측에 대해 최소최대 최적성(minimax optimal)이 되는가?

주요 결과

• 변환 앙상블은 암모바일라와 UTKFace를 포함한 세 개의 공개 데이터셋에서 분류 성능 및 캘리브레이션 측면에서 전통적 딥 앙상블과 유사한 성능을 달성한다.
• 앙상블은 적절한 스코링 규칙 측면에서 구성원 평균보다 항상 더 나은 성능를 보이며, 이는 이론적 보장에 부합함을 확인한다.
• 이 방법은 모델 파라미터를 직접적으로 해석할 수 있도록 하며, 예를 들어 암모바일라 데이터셋에서 성별에 대한 계수는 영상 데이터가 포함될 경우 부호가 바뀌는 등, 파라미터 평균화의 해석 가능성에 기여한다.
• 변환 앙상블은 애로타닉 및 엡스테믹 불확실성을 모두 정량화할 수 있으며, 엡스테믹 불확실성은 선형 예측자 내 평균 계수의 분산을 통해 추정된다.
• 표본 특성 외에 영상 특성까지 포함함으로써, 세 데이터셋 중 두 개에서 캘리브레이션 성능이 향상되어, 다중모odal 모델링이 임상 예측의 신뢰성 향상에 기여함을 시사한다.
• 일부 조건 하에서 이진 결과 예측에 대해 변환 앙상블은 최소최대 최적성(minimax optimal)이며, 이는 이론적 보장이 해석 가능한 모델로 확장됨을 의미한다.