[논문 리뷰] Gaining Free or Low-Cost Transparency with Interpretable Partial Substitute

Tong Wang|arXiv (Cornell University)|2018. 02. 12.

Machine Learning and Data Classification참고 문헌 33인용 수 5

한 줄 요약

이 논문은 예측 성능에 거의 손실 없이 투명성을 확보하기 위해, 블랙박스 모델이 과잉적용되는 데이터 서브셋에서는 블랙박스 모델을 해석 가능한 부분 대체 모델로 대체하는 하이브리드 모델 프레임워크를 제안한다. 하이브리드 룰 세트(HyRS) 모델은 데이터의 일부에서 해석 가능한 의사결정 규칙을 사용해 초기에 투명한 예측을 수행하며, 필요할 경우에만 블랙박스 모델을 활용한다. 실험 결과, 투명성 82%와 정확도 77%를 기록하여 투명성과 정확도 사이의 균형을 확보하였다.

ABSTRACT

This work addresses the situation where a black-box model with good predictive performance is chosen over its interpretable competitors, and we show interpretability is still achievable in this case. Our solution is to find an interpretable substitute on a subset of data where the black-box model is overkill or nearly overkill while leaving the rest to the black-box. This transparency is obtained at minimal cost or no cost of the predictive performance. Under this framework, we develop a Hybrid Rule Sets (HyRS) model that uses decision rules to capture the subspace of data where the rules are as accurate or almost as accurate as the black-box provided. To train a HyRS, we devise an efficient search algorithm that iteratively finds the optimal model and exploits theoretically grounded strategies to reduce computation. Our framework is agnostic to the black-box during training. Experiments on structured and text data show that HyRS obtains an effective trade-off between transparency and interpretability.

연구 동기 및 목표

• 고성능 블랙박스 모델이 해석 가능한 대안보다 선호되는 상황에서 모델의 해석 가능성 문제를 해결하기 위해.
• 블랙박스 모델이 과잉적용되는 데이터 서브셋에서 해석 가능한 모델을 사용해 전체 정밀도를 유지하면서도 해석 가능성을 확보하는 방법을 개발하기 위해.
• 블랙박스 모델 성능에 거의 영향을 주지 않도록 해석 가능한 모델을 성능이 거의 동일한 데이터 서브스페이스로 제한함으로써 해석 가능성의 성능 비용을 최소화하기 위해.
• 시간에 따라 변하지 않는 특성만을 사용해 일부 데이터에 대해 초기에 비용 효율적인 예측을 가능하게 하기 위해 해석 가능한 규칙을 활용하기 위해.
• 다양한 모델 유형(예: 선형 모델, 의사결정트리, 프로토타입 기반 모델 등)을 지원하는 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• 프레임워크는 순차적 의사결정 과정을 사용한다: 먼저 해석 가능한 모델(예: 룰 세트)을 적용하고, 신뢰도가 높으면 이를 통해 예측하고, 그렇지 않으면 블랙박스 모델을 호출한다.
• 해석 가능한 국소 대체 모델로 연관 규칙을 사용하여 하이브리드 룰 세트(HyRS)를 구성하며, 블랙박스 모델이 거의 불필요한 데이터에서 훈련한다.
• 계산 비용을 줄이기 위해 이론적 전략을 활용해 반복적으로 최적의 룰 세트를 식별하는 효율적인 검색 알고리즘을 개발한다.
• 훈련 과정에서 블랙박스 모델에 대해 무관한 방법을 사용하여, 기존의 어떤 블랙박스 모델이라도 통합할 수 있도록 한다.
• 모델은 사례 시작 시 이용 가능한 시간에 따라 변하지 않는 특성만을 사용해 훈련되며, 이는 시간 시리즈 데이터를 기다리지 않고도 초기 예측을 가능하게 한다.
• 임계값 매개변수(θ₂)를 다양하게 조정함으로써 투명성(해석 가능한 룰이 커버하는 데이터 비율)과 정확도 사이의 트레이드오프 곡선을 생성하여 사용자가 최적의 모델 구성 설정을 선택할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 블랙박스 모델이 과잉적용되는 데이터 서브셋에서 예측 성능을 희생시키지 않고도 전체 정밀도를 유지하면서 해석 가능한 모델을 통해 해석 가능성을 확보할 수 있는가?
• RQ2 하이브리드 모델 환경에서 해석 가능성(해석 가능한 룰이 설명하는 데이터 비율)과 예측 정확도 사이의 트레이드오프는 어떠한가?
• RQ3 해석 가능한 모델을 효과적으로 부분 대체 모델로 사용하여 블랙박스 모델 의존도를 줄이면서도 높은 성능을 유지를 할 수 있는가?
• RQ4 블랙박스의 결정 경계를 사전에 알지 못한 상태에서, 최대 크기의 고정확도 데이터 서브스페이스를 커버하도록 해석 가능한 모델을 효율적으로 훈련할 수 있는가?
• RQ5 제안된 프레임워크는 다양한 해석 가능한 모델(예: 선형 모델, 의사결정트리 등)과 어떤 블랙박스 모델이라도 통합할 수 있도록 일반화 가능한가?

주요 결과

• HyRS 모델은 82%의 투명성(82%의 데이터가 해석 가능한 룰에 의해 커버됨)과 77%의 예측 정확도를 기록하여 순수하게 해석 가능한 모델보다 정확도가 높으면서도 중요한 데이터 서브셋에서 해석 가능성을 유지한다.
• 단지 네 개의 양성 룰과 세 개의 음성 룰로도 82%의 데이터를 커버하여 나머지 18%의 인스턴스만이 여전히 블랙박스 모델로 라우팅되며, 복잡한 모델 의존도를 최소화한다.
• 이 프레임워크는 투명성과 정확도 사이의 트레이드오프를 가능하게 하며, 그림 4의 곡선은 투명성을 높일수록 정확도가 점진적이고 예측 가능한 수준으로 감소하지만, 항상 순수한 해석 가능한 모델의 성능을 초월함을 보여준다.
• 시간에 따라 변하지 않는 특성만을 사용해 해석 가능한 규칙을 적용함으로써 의료 크라우드펀딩에서 초기 예측이 가능해져, 고비용 또는 시간이 오래 소요되는 데이터 수집에 대한 의존도를 줄였다.
• 딥 루프 네트워크(LSTM) 모델을 사용해 높은 예측 성능(테스트 정확도 0.96)을 달성했으며, 이를 블랙박스 기준 모델로 사용함으로써 프레임워크의 실세계 적용 효과를 검증하였다.
• 이 프레임워크는 일반화 가능하며 선형 모델, 의사결정트리, 프로토타입 기반 모델 등 다양한 해석 가능한 모델과 통합이 가능하며, 논문의 더 넓은 맥락에서 이를 입증하였다.