[논문 리뷰] Logic-Based Explainability in Machine Learning

João Marques‐Silva|arXiv (Cornell University)|2022. 10. 24.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 기계학습에서 논리 기반 형식적 설명 가능성을 도입하여, SAT, SMT, MILP 솔버와 같은 자동화된 추론 기법을 사용해 엄밀하고 논리적으로 타당한 설명을 제안한다. 추론 기반 설명과 대조적 설명의 형식적 정의를 수립하고, 그 계산 복잡도를 분석하며, 다양한 분류기들에 대한 논리적 인코딩을 제공함으로써 고위험 기계학습 응용 분야에서 증명 가능하고 해석 가능한 설명을 달성한다.

ABSTRACT

The last decade witnessed an ever-increasing stream of successes in Machine Learning (ML). These successes offer clear evidence that ML is bound to become pervasive in a wide range of practical uses, including many that directly affect humans. Unfortunately, the operation of the most successful ML models is incomprehensible for human decision makers. As a result, the use of ML models, especially in high-risk and safety-critical settings is not without concern. In recent years, there have been efforts on devising approaches for explaining ML models. Most of these efforts have focused on so-called model-agnostic approaches. However, all model-agnostic and related approaches offer no guarantees of rigor, hence being referred to as non-formal. For example, such non-formal explanations can be consistent with different predictions, which renders them useless in practice. This paper overviews the ongoing research efforts on computing rigorous model-based explanations of ML models; these being referred to as formal explanations. These efforts encompass a variety of topics, that include the actual definitions of explanations, the characterization of the complexity of computing explanations, the currently best logical encodings for reasoning about different ML models, and also how to make explanations interpretable for human decision makers, among others.

연구 동기 및 목표

• 기존의 모델에 종속되지 않는 설명 방법들이 논리적으로 모순되거나 신뢰할 수 없음을 보여주는 데서 비롯되는 엄밀성 부족 문제를 해결한다.
• 기계학습 모델에 대해 증명 가능하고 인간 의사결정자에게 해석 가능한 형식적이고 논리적으로 기반을 둔 설명을 개발한다.
• 다양한 분류기 가족 간 설명 계산의 계산 복잡도를 규명하고, 다항시간 해법이 가능한 경우와 불가능한 경우를 구분한다.
• 설명이 논리적으로 일관되고 검증 가능함을 보장하여 고위험 및 안전 중심 응용 분야에서 신뢰할 수 있는 인공지능을 실현한다.
• 자동화된 추론 및 증명 보조 도구와 같은 형식적 방법을 통합하여 설명과 설명 가능성 질의를 인증한다.

제안 방법

• 명제 논리 및 일阶 논리에 기반한 추론 기반 설명과 대조적 설명 프레임워크를 사용해 형식적 설명을 정의한다.
• 분류기 행동을 논리 공식으로 인코딩하여 SAT, SMT, MILP 솔버를 백엔드 추론기로 사용해 정확한 설명을 계산한다.
• 의사결정 트리, 의사결정 목록, 신경망, 트리 앙상블 등 다양한 모델에 대한 논리적 인코딩을 개발한다.
• 설명 소속성, 설명 열거 등 설명 가능성 질의를 자동화된 추론으로 해결할 수 있는 논리적 결정 문제로 공식화한다.
• 입력 분포와 특성 제약 조건을 고려해 확률적 추론을 확장한 논리적 인코딩을 도입하여 확률적 설명을 정의하고 계산한다.
• 복잡한 모델을 설명하기 위해 형식적 보장을 갖춘 서rogate 모델을 적용하며, 논리적 검증을 통해 정확성을 보장한다.

실험 결과

연구 질문

• RQ1 기계학습 모델에 대해 비형식적이고 모델에 종속되지 않는 접근 방식의 단점을 피할 수 있는 형식적이고 논리적으로 엄밀한 설명을 어떻게 정의할 수 있는가?
• RQ2 다양한 분류기 가족 간 형식적 설명 계산의 계산 복잡도는 무엇이며, 어떤 클래스에서는 다항시간 해법이 가능한가?
• RQ3 형식적 검증 및 증명 보조 도구를 통해 설명의 정확성과 일관성을 어떻게 보장할 수 있는가?
• RQ4 입력 제약 조건과 입력 분포는 형식적 설명의 정확성과 관련성 향상에 어떤 역할을 하는가?
• RQ5 복잡한 모델을 설명하기 위해 서rogate 모델을 사용할 수 있으며, 이 경우 설명 품질과 일관성에 대한 형식적 보장을 유지할 수 있는가?

주요 결과

• 논리 기반 추론을 활용한 형식적 설명은 논리적으로 일관되고 증명 가능한 정확성을 보장하여 비형식적 방법에서 나타나는 모순을 피한다.
• 논문은 추론 기반 설명, 대조적 설명, 전역 설명을 포함한 포괄적인 형식적 설명 프레임워크를 수립하였으며, 형식적 정의와 복잡도 특성 분석을 제공한다.
• 의사결정 트리와 단조성 분류기의 경우 설명 계산이 다항시간으로 가능하여 논리적 인코딩을 통한 효율적 설명 생성이 가능하다.
• SAT/SMT/MILP 솔버의 활용은 신경망과 트리 앙상블를 포함한 다양한 모델에서 정확하고 확장 가능한 설명 계산을 가능하게 한다.
• 확률적 설명은 확률적 추론을 확장한 논리적 인코딩을 통해 형식적으로 정의하고 계산할 수 있으며, 불확실성 하에서의 해석 가능성 향상에 기여한다.
• 형식적 방법(예: 증명 보조 도구)을 통한 설명 인증은 실현 가능하며 고위험 응용 분야에서 필수적이다. 이는 실행 구현의 정확성과 신뢰성을 보장한다.