[논문 리뷰] Closed-Form Expressions for Global and Local Interpretation of Tsetlin Machines with Applications to Explaining High-Dimensional Data

Christian D. Blakely, Ole‐Christoffer Granmo|arXiv (Cornell University)|2020. 07. 27.

Reinforcement Learning in Robotics참고 문헌 22인용 수 9

한 줄 요약

이 논문은 Tsetlin Machines(TMs)에서 전역적이고 국소적인 해석 가능성에 대한 폐쇄형 표현식을 도입하여, 학습 중에 결합 문장에서 직접 실시간 특성 중요도 분석을 가능하게 한다. 분류 및 회귀 작업에서 SHAP 유사 해석 가능성과 경쟁 가능한 정확도를 달성하면서도, 대체 모델 없이 고차원 데이터 시각화를 위한 새로운 3D 클러스터링 방법을 유도한다.

ABSTRACT

Tsetlin Machines (TMs) capture patterns using conjunctive clauses in propositional logic, thus facilitating interpretation. However, recent TM-based approaches mainly rely on inspecting the full range of clauses individually. Such inspection does not necessarily scale to complex prediction problems that require a large number of clauses. In this paper, we propose closed-form expressions for understanding why a TM model makes a specific prediction (local interpretability). Additionally, the expressions capture the most important features of the model overall (global interpretability). We further introduce expressions for measuring the importance of feature value ranges for continuous features. The expressions are formulated directly from the conjunctive clauses of the TM, making it possible to capture the role of features in real-time, also during the learning process as the model evolves. Additionally, from the closed-form expressions, we derive a novel data clustering algorithm for visualizing high-dimensional data in three dimensions. Finally, we compare our proposed approach against SHAP and state-of-the-art interpretable machine learning techniques. For both classification and regression, our evaluation show correspondence with SHAP as well as competitive prediction accuracy in comparison with XGBoost, Explainable Boosting Machines, and Neural Additive Models.

연구 동기 및 목표

• 복잡한 Tsetlin Machine 모델에서 수동 문장 검토에 의존하는 확장 가능한 내재적 해석 가능성의 부족을 해결하기 위해.
• 학습 중에 실시간으로 업데이트되는 계산적으로 효율적인 폐쇄형 표현식을 통해 국소적 및 전역적 특성 중요도를 개발하기 위해.
• 연속형 특성의 특성 값 범위를 해석 가능성에 통합하여 데이터 패턴에 대한 세분화된 통찰을 가능하게 하기 위해.
• TM 문장 구조를 활용하여 고차원 데이터를 3D에서 시각화할 수 있는 새로운 클러스터링 알고리즘을 유도하기 위해.
• SHAP 및 최첨단 해석 가능한 모델과의 비교를 통해, 경쟁 가능한 정확도와 해석 가능성의 유효성을 검증하기 위해.

제안 방법

• 모든 문장에서의 특성 커버리지와 문장 가중치를 기반으로 전역적 특성 중요도에 대한 폐쇄형 표현식을 제안한다.
• 문장 수준의 기여도를 사용하여 특정 예측에 각 특성이 기여하는 정도를 정량화하는 국소적 해석 가능성 표현식을 유도한다.
• 사전 정의된 값 간격에서의 문장 활성화를 평가하여 연속형 특성의 범위 중요도 측정 방법을 도입한다.
• 전역 중요도에서 상위 랭크된 문장 중심점을 활용하여, 알고리즘 1을 통해 새로운 3D 클러스터링 알고리즘의 클러스터 중심을 정의한다.
• TM의 내재된 문장 구조를 활용하여 대체 모델이나 추가 추론 레이어 없이 실시간 해석 가능성과 클러스터링을 수행한다.
• 효율적인 추론과 학습을 위해 문장 인덱싱을 적용한 가중치 기반 TM을 사용하여 학습 중 동적 해석 가능성을 실현한다.

실험 결과

연구 질문

• RQ1 Tsetlin Machine 문장에서 직접 폐쇄형 표현식을 도출하여 실시간 전역 및 국소적 해석 가능성을 달성할 수 있는가?
• RQ2 연속형 특성의 특성 값 범위가 TM 프레임워크 내에서 예측 중요도 측면에서 정량적으로 평가될 수 있는가?
• RQ3 학습된 TM의 문장 구조를 활용하여 고차원 데이터를 3D에서 해석 가능한 새로운 클러스터링 방법을 만들 수 있는가?
• RQ4 제안된 해석 가능성 접근법은 SHAP 및 다른 최첨단 해석 가능한 모델과 비교해 정확도와 일관성 측면에서 어떻게 성과를 내는가?
• RQ5 해석 가능성 표현식은 학습 과정 중에 동적으로 업데이트되어 모델 행동의 변화를 실시간으로 모니터링할 수 있는가?

주요 결과

• 제안된 전역 및 국소적 해석 가능성에 대한 폐쇄형 표현식은 여러 데이터셋에서 SHAP 값과 강한 일치를 보이며 그 신뢰성을 검증한다.
• TM 기반 해석 가능성 방법은 XGBoost, 설명 가능한 부스팅 기반 모델, 신경망 추가 모델과 비교해 경쟁 가능한 예측 정확도를 달성한다.
• 새로운 3D 클러스터링 알고리즘은 문장 중심점을 클러스터 중심으로 매핑하여 고차원 데이터를 성공적으로 시각화하였으며, 단백질 발현 데이터에서 의미 있는 군집을 드러냈다.
• 쥐 단백질 데이터에서 SOD1은 전역적으로 가장 중요한 특성으로 나타났으며, 이는 가장 큰 클러스터에 속한 관측치에서 국소적 해석 가능성 출력에서도 일관되게 반영되었다.
• 클러스터 간 일관된 국소적 해석 가능성이 입증되었다: 한 클러스터에서는 SOD1이 지배적이었고, 다른 클러스터에서는 CaNA가 지배적이었으며, 세 번째 클러스터에서는 Ubiquitin이 지배적이었으며, 생물학적 타당성과 일치하였다.
• 이 방법은 모델 학습 중 실시간 해석 가능성을 제공하여, 모델의 진화 과정에서 특성 중요도를 동적으로 모니터링할 수 있다.