[논문 리뷰] Learning Hybrid Interpretable Models: Theory, Taxonomy, and Methods

Julien Ferry, Gabriel Laberge외 1명|arXiv (Cornell University)|2023. 03. 08.

Explainable Artificial Intelligence (XAI)참고 문헌 26인용 수 5

한 줄 요약

이 논문은 가중치 기반 게이팅 메커니즘을 통해 최적의 규칙 목록(해석 가능한 구성 요소)과 블랙박스 모델(예: 랜덤 포레스트)을 조합하는 하이브리드 해석 가능한 모델을 학습하는 데에 사용되는 새로운 방법인 HybridCORELS를 소개한다. 먼저 해석 가능한 모델을 학습하는 방식(Pre-Black-Box 파라다임)을 통해, 단독 블랙박스 모델보다 더 나은 일반화 성능를 달성하면서도 투명도를 정밀하게 제어할 수 있다. 이는 성능가능성이 높은 '황금 구역'을 보여주며, 순수한 블랙박스 모델과 순수하게 해석 가능한 모델보다 뛰어난 성능을 달성한다.

ABSTRACT

A hybrid model involves the cooperation of an interpretable model and a complex black box. At inference, any input of the hybrid model is assigned to either its interpretable or complex component based on a gating mechanism. The advantages of such models over classical ones are two-fold: 1) They grant users precise control over the level of transparency of the system and 2) They can potentially perform better than a standalone black box since redirecting some of the inputs to an interpretable model implicitly acts as regularization. Still, despite their high potential, hybrid models remain under-studied in the interpretability/explainability literature. In this paper, we remedy this fact by presenting a thorough investigation of such models from three perspectives: Theory, Taxonomy, and Methods. First, we explore the theory behind the generalization of hybrid models from the Probably-Approximately-Correct (PAC) perspective. A consequence of our PAC guarantee is the existence of a sweet spot for the optimal transparency of the system. When such a sweet spot is attained, a hybrid model can potentially perform better than a standalone black box. Secondly, we provide a general taxonomy for the different ways of training hybrid models: the Post-Black-Box and Pre-Black-Box paradigms. These approaches differ in the order in which the interpretable and complex components are trained. We show where the state-of-the-art hybrid models Hybrid-Rule-Set and Companion-Rule-List fall in this taxonomy. Thirdly, we implement the two paradigms in a single method: HybridCORELS, which extends the CORELS algorithm to hybrid modeling. By leveraging CORELS, HybridCORELS provides a certificate of optimality of its interpretable component and precise control over transparency. We finally show empirically that HybridCORELS is competitive with existing hybrid models, and performs just as well as a standalone black box (or even better) while being partly transparent.

연구 동기 및 목표

• 기계 학습에서 정확도-투명도 트레이드오프 문제를 해결하기 위해, 해석 가능한 구성 요소와 블랙박스 구성 요소를 조합한 하이브리드 모델을 제안하는 것.
• PAC-학습 프레임워크를 사용하여 하이브리드 모델의 일반화 이점에 대한 이론적 근거를 제공하는 것.
• 하이브리드 모델링을 위한 Post-Black-Box 및 Pre-Black-Box 학습 파라다임을 구분하는 분류 체계를 제시하는 것.
• CORELS를 확장하여 하이브리드 환경에서 최적의, 증명 가능한 규칙 목록 학습을 가능하게 하는 HybridCORELS를 개발하는 것.
• 하이브리드 모델이 단독 블랙박스 모델을 능가하면서도 높은 해석 가능성 유지가 가능하다는 것을 경험적으로 검증하는 것.

제안 방법

• Pre-Black-Box 파라다임은 해석 가능한 구성 요소(예: 규칙 목록)를 먼저 학습한 후, 그 예측 결과를 기반으로 블랙박스 모델을 학습하는 방식이다.
• 해석 가능한 구성 요소의 전역 최적성과 증명 가능성을 보장하기 위해, 최적의 규칙 목록 학습 알고리즘인 CORELS를 활용한다.
• 추론 시점에 게이팅 메커니즘이 작동하여, 해석 가능한 모델의 신뢰도 또는 규칙 커버리지에 따라 각 입력을 해석 가능한 모델 또는 블랙박스 모델 중 하나로 라우팅한다.
• 투명도는 해석 가능한 구성 요소로 라우팅되는 입력의 비율로 정의되며, 이는 모델의 해석 가능성에 직접적인 제어를 가능하게 한다.
• 종단 간 학습과 공동 최적화를 지원하지만, 완전한 종단 간 증명 가능성은 아직 열려 있는 과제이다.
• 이론적 분석을 통해 PAC 스타일의 일반화 경계를 도출하여, 투명도의 '황금 구역'이 일반화 오차를 최소화하는 지점을 예측한다.

실험 결과

연구 질문

• RQ1 해석 가능한 구성 요소와 블랙박스 모델을 조합한 하이브리드 모델이 단독 블랙박스 모델보다 더 나은 일반화 성능을 보일 수 있는가?
• RQ2 정확도-투명도 트레이드오프를 신화적인 개념이 아닌 정량적으로 측정하고 최적화할 수 있는가?
• RQ3 하이브리드 모델링에서 Post-Black-Box 및 Pre-Black-Box 학습 파라다임 간의 핵심 차이점은 무엇인가?
• RQ4 최적의, 증명 가능한 규칙 목록을 효과적으로 하이브리드 모델에 통합하여 해석 가능성과 성능을 동시에 향상시킬 수 있는가?
• RQ5 해석 가능한 모델을 먼저 학습하는 Pre-Black-Box 방식이, 블랙박스 모델을 먼저 학습하는 Post-Black-Box 방식보다 더 나은 일반화 성능을 보이는가?

주요 결과

• COMPAS 데이터셋에서 HybridCORELS Pre는 42.7%의 투명도를 유지하면서 테스트 정확도 68.1%를 달성하여 단독 블랙박스 모델을 능가한다.
• 일반화 오차가 최소화되는 투명도의 '황금 구역'이 존재하며, 이 구역에서 성능이 단독 블랙박스 모델을 초월한다.
• ACS 고용 및 UCI Adult Income 데이터셋에서 HybridCORELS는 블랙박스 모델과 동일한 성능을 유지하면서 최대 70%의 투명도를 달성한다.
• 블랙박스 모델만으로는 일반화 성능이 떨어지며, 단순한 입력은 해석 가능한 구성 요소로 라우팅됨으로써 정규화 효과가 발생함을 시사한다.
• 여러 데이터셋에서 경험적으로 Pre-Black-Box 파라다임이 Post-Black-Box 파라다임보다 더 나은 일반화 성능을 보였다.
• HybridCORELS가 학습한 규칙 목록은 증명 가능하며, 대부분의 입력에 대해 모델 행동을 공식적으로 검증할 수 있어 전문가 검토의 필요성을 줄였다.