[논문 리뷰] Hybrid Decision Making: When Interpretable Models Collaborate With Black-Box Models.

Tong Wang|arXiv (Cornell University)|2018. 02. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 32인용 수 6

한 줄 요약

이 논문은 정확하고 설명 가능한 예측을 제공하기 위해 해석 가능한 규칙 집합과 블랙박스 모델을 통합하는 하이브리드 의사결정 모델 CoBRUSH를 제안한다. 이 모델은 먼저 인스턴스를 규칙에 따라 평가하고, 규칙이 적용되지 않으면 블랙박스 모델이 개입한다. 이로써 블랙박스 모델 단독 사용 시와 유사하거나 더 높은 정확도를 달성하면서도 해석 가능성과 모델 복잡도를 감소시킨다.

ABSTRACT

Interpretable machine learning models have received increasing interest in recent years, especially in domains where humans are involved in the decision-making process. However, the possible loss of the task performance for gaining interpretability is often inevitable. This performance downgrade puts practitioners in a dilemma of choosing between a top-performing black-box model with no explanations and an interpretable model with unsatisfying task performance. In this work, we propose a novel framework for building a Hybrid Decision Model that integrates an interpretable model with any black-box model to introduce explanations in the decision making process while preserving or possibly improving the predictive accuracy. We propose a novel metric, explainability, to measure the percentage of data that are sent to the interpretable model for decision. We also design a principled objective function that considers predictive accuracy, model interpretability, and data explainability. Under this framework, we develop Collaborative Black-box and RUle Set Hybrid (CoBRUSH) model that combines logic rules and any black-box model into a joint decision model. An input instance is first sent to the rules for decision. If a rule is satisfied, a decision will be directly generated. Otherwise, the black-box model is activated to decide on the instance. To train a hybrid model, we design an efficient search algorithm that exploits theoretically grounded strategies to reduce computation. Experiments show that CoBRUSH models are able to achieve same or better accuracy than their black-box collaborator working alone while gaining explainability. They also have smaller model complexity than interpretable baselines.

연구 동기 및 목표

• 의사결정 시스템에서 모델의 해석 가능성과 예측 성능 사이의 상충 관계를 해결하기 위해.
• 해석 가능한 모델가 블랙박스 모델에 비해 성능이 떨어지는 경향이 있는 한계를 극복하기 위해.
• 높은 예측 정확도를 유지하면서 인간이 이해할 수 있는 설명을 도입하는 프레임워크를 개발하기 위해.
• 정확도, 해석 가능성, 데이터 설명 가능성 사이의 균형을 이루는 원칙적인 목적 함수를 도입하기 위해.
• 과도한 계산 비용 없이도 하이브리드 모델을 효율적으로 훈련시킬 수 있는 알고리즘 설계하기 위해.

제안 방법

• 입력 인스턴스가 먼저 논리 규칙 집합에 대해 평가되는 하이브리드 의사결정 프레임워크를 제안한다.
• 규칙이 만족되면 모델은 규칙 집합으로부터 직접 결정을 출력하고, 그렇지 않으면 블랙박스 모델이 작동한다.
• 해석 가능한 모델에 라우팅된 데이터 인스턴스 비율을 측정하는 새로운 지표인 '해석 가능성'을 도입한다.
• 예측 정확도, 모델의 해석 가능성, 데이터 설명 가능성의 세 가지 요소를 동시에 최적화하는 공동 목적 함수를 설계한다.
• 이론적으로 탄탄한 전략을 활용한 효율적인 검색 알고리즘을 개발하여 훈련 복잡도를 감소시킨다.
• 규칙 생성과 블랙박스 모델 통합을 동시에 최적화함으로써 CoBRUSH 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 하이브리드 모델은 인간이 이해할 수 있는 의사결정을 제공하면서도 예측 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 해석 가능한 규칙에 라우팅된 데이터 비율(해석 가능성)이 전체 모델 성능에 어떤 영향을 미치는가?
• RQ3 순수하게 해석 가능한 기반 모델에 비해 하이브리드 모델이 얼마나 모델 복잡도를 감소시킬 수 있는가?
• RQ4 정확도, 해석 가능성, 설명 가능성의 공동 최적화가 실세계 적용에 어떤 영향을 미치는가?
• RQ5 제안된 훈련 알고리즘이 모델 품질을 희생시키지 않고 대규모 데이터셋에 효율적으로 확장될 수 있는가?

주요 결과

• CoBRUSH 모델는 고립된 상태에서 훈련된 블랙박스 협업자와 비교해 동일하거나 더 높은 예측 정확도를 달성한다.
• 하이브리드 모델은 순수하게 해석 가능한 기반 모델에 비해 향상된 모델 복잡도를 보여준다.
• 상당한 비율의 인스턴스가 해석 가능한 규칙 구성요소로 라우팅되어 성능을 훼손하지 않으면서도 해석 가능성을 향상시킨다.
• 이론적으로 탄탄한 검색 전략을 활용한 제안된 훈련 알고리즘이 계산 비용을 효율적으로 감소시킨다.
• 공동 최적화 프레임워크는 실무에서 예측 정확도, 해석 가능성, 데이터 설명 가능성의 균형을 성공적으로 달성한다.
• 실증 결과는 하이브리드 접근 방식이 정확도 및 복잡도 지표 모두에서 독립된 해석 가능한 모델보다 뛰어나다는 것을 확인한다.