[논문 리뷰] Global Model Interpretation via Recursive Partitioning

Chengliang Yang, Anand Rangarajan외 1명|arXiv (Cornell University)|2018. 02. 11.

Machine Learning and Data Classification참고 문헌 30인용 수 20

한 줄 요약

이 논문은 블랙박스 모델의 국소적 특성 기여 행렬에서 전역적이고 인간이 이해할 수 있는 결정트리로의 전역적 해석을 제안한다. GIRP(Global Interpretation via Recursive Partitioning)는 평균 특성 기여도의 차이를 최대화하도록 입력 공간을 재귀적으로 분할함으로써, 모델 행동에 대한 높은 정밀도로 전역적 의사결정 규칙을 드러내는 컴act한 해석 트리를 생성한다. 이는 의료, 비전, NLP 작업에서 모델 진단과 지식 발견을 가능하게 한다.

ABSTRACT

In this work, we propose a simple but effective method to interpret black-box machine learning models globally. That is, we use a compact binary tree, the interpretation tree, to explicitly represent the most important decision rules that are implicitly contained in the black-box machine learning models. This tree is learned from the contribution matrix which consists of the contributions of input variables to predicted scores for each single prediction. To generate the interpretation tree, a unified process recursively partitions the input variable space by maximizing the difference in the average contribution of the split variable between the divided spaces. We demonstrate the effectiveness of our method in diagnosing machine learning models on multiple tasks. Also, it is useful for new knowledge discovery as such insights are not easily identifiable when only looking at single predictions. In general, our work makes it easier and more efficient for human beings to understand machine learning models.

연구 동기 및 목표

• 복잡하고 고성능을 내는 모델에서 국소적 해석과 전역적 해석 사이의 격차를 해소하기 위해.
• 예측 성능을 희생시키지 않고도 블랙박스 모델에서 전역적으로 적용 가능한 인간이 이해할 수 있는 의사결정 규칙을 추출하는 방법을 개발하기 위해.
• 국소적 설명을 통합하여 일관된 전역적 구조를 형성함으로써 효율적인 모델 진단과 새로운 지식 발견을 가능하게 하기 위해.
• 의료 및 경제와 같은 고위험 분야에서 수백만 개의 데이터 샘플을 기반으로 일관된 패턴을 드러내어 인구 수준의 의사결정 지원을 위해.
• 딥러닝 및 앙상블 방법을 포함한 다양한 기계학습 모델에 적용 가능한 확장성 있고 통합된 프레임워크를 제공하기 위해.

제안 방법

• 입력으로 기여도 행렬을 취하며, 각 항목은 단일 데이터 샘플에 대한 특성의 예측 기여도를 나타낸다.
• 자식 노드 간 평균 특성 기여도의 차이를 최대화하도록 CART 유사 알고리즘을 사용해 입력 공간을 재귀적으로 분할한다.
• 각 분할에서 모든 특성과 가능한 모든 분할 점을 평가하여 두 하위 집합 간 평균 기여도의 절대 차이가 최대가 되는 분할을 찾는다.
• 최소 노드 크기 또는 분할 품질 향상이 유의미하지 않을 경우 정지 기준에 도달할 때까지 과정을 반복한다.
• 최종적으로 생성된 이진 트리인 해석 트리는 전체 데이터셋에 걸쳐 모델의 행동을 요약하는 전역적 의사결정 규칙을 인코딩한다.
• 특성의 조합에 따라 분할이 의존하도록 하여, 하위군 내에서 변수 중요도의 이질성과 특성 간 상호작용을 포착한다.

실험 결과

연구 질문

• RQ1 다양한 블랙박스 모델의 국소적 특성 기여도 행렬에서 전역적이고 인간이 읽을 수 있는 결정트리를 구성할 수 있는가?
• RQ2 특성 기여도의 재귀적 분할이 복잡한 모델의 진짜 행동을 반영하는 의미 있고 일관된 의사결정 규칙을 드러내는가?
• RQ3 해석 트리는 모델 과적합 또는 텍스트 분류와 같은 과정에서의 비의미한 패턴에 의존하는지 탐지할 수 있는가?
• RQ4 실제 응용 분야인 ICU 생존율 예측에서, 입력 특성과 결과 간의 새로운 비명백한 관계를 이 방법이 드러낼 수 있는가?
• RQ5 의사결정 트리는 원본 모델의 예측 행동을 유지하면서도 여전히 해석 가능성을 유지하는가?

주요 결과

• 컴퓨터 비전 분야에서 해석 트리는 딥 리서지듀얼 네트워크가 배경 특성보다는 의도된 객체(예: 장면 속 사람)에 집중하고 있음을 정확히 식별하였다.
• 텍스트 분류 분야에서 트리는 랜덤 포레스트 모델이 주제를 구분하기 위해 관련 없거나 오해의 소지가 있는 단어(예: 'not' 또는 'but')에 의존하고 있음을 드러내어 잠재적인 과적합을 시사하였다.
• ICU 생존율 예측에서 이 방법은 '1개월 내 회복 및 호스피스 치료'가 사망률 85.3%의 강력한 예측 변수임을 밝혀내었으며, 임상적 직관과 일치하였다.
• 또한 '1개월 내 기타 산모 간질성 황달'이 보호 요인로 나타나, 이전에 강조되지 않은 임상적으로 타당한 관계를 시사하였다.
• 해석 트리는 환자 하위군에 따라 특성 중요도가 의미 있게 다름을 보여주며 이질적 영향을 성공적으로 포착하였다.
• 이 방법은 ICU 생존율과 관련된 이전에 보고되지 않거나 간과되었던 공존 질환 패턴을 드러내어 지식 발견을 가능하게 하였다.