[논문 리뷰] Foundations of Symbolic Languages for Model Interpretability

Marcelo Arenas, Daniel Báez외 3명|arXiv (Cornell University)|2021. 10. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 34인용 수 5

한 줄 요약

이 논문은 결정 트리와 결정 다이어그램과 같은 기계 학습 모델에 대해 설명 가능한 쿼리를 기술하기 위한 일阶 논리 기반의 선언적 언어인 FOIL을 소개한다. FOIL 쿼리의 평가에 대한 계산 복잡도를 규명하고, 구조적 제약 또는 조각 제한을 통해 효율적인 평가가 가능함을 보이며, 프로토타입 구현을 통해 실용적 타당성을 입증한다.

ABSTRACT

Several queries and scores have recently been proposed to explain individual predictions over ML models. Given the need for flexible, reliable, and easy-to-apply interpretability methods for ML models, we foresee the need for developing declarative languages to naturally specify different explainability queries. We do this in a principled way by rooting such a language in a logic, called FOIL, that allows for expressing many simple but important explainability queries, and might serve as a core for more expressive interpretability languages. We study the computational complexity of FOIL queries over two classes of ML models often deemed to be easily interpretable: decision trees and OBDDs. Since the number of possible inputs for an ML model is exponential in its dimension, the tractability of the FOIL evaluation problem is delicate but can be achieved by either restricting the structure of the models or the fragment of FOIL being evaluated. We also present a prototype implementation of FOIL wrapped in a high-level declarative language and perform experiments showing that such a language can be used in practice.

연구 동기 및 목표

• 기계 학습에서 설명 가능성 쿼리를 체계적으로 기술할 수 있는 원칙적이고 선언적 언어를 개발하기 위해.
• 형식 논리(FOIL)에 기반하여 언어를 설계함으로써 설명의 타당성과 정확성을 보장하기 위해.
• 결정 트리 및 결정 다이어그램과 같은 설명 가능한 모델에 대해 FOIL 쿼리 평가의 계산 복잡도를 분석하기 위해.
• 고수준 선언적 문법을 사용한 FOIL의 프로토타입 구현을 통해 실용적 구현을 가능하게 하기 위해.
• 입력 공간이 지수적으로 증가하더라도 FOIL 평가가 여전히 처리 가능한 조건을 탐색하기 위해.

제안 방법

• FOIL은 두 개의 술어로 정의된다: Pos(e)는 전체 인스턴스 e가 양성으로 분류됨을 나타내며, e ⊆ e'는 e'가 e의 정의되지 않은 특징을 메울 수 있음을 나타낸다.
• 언제든지 부분 인스턴스를 양성으로 분류할 수 있는지 표현하는 존재적 쿼리인 ∃x (Pos(x) ∧ (⊥,⊥,⊥,⊥,0,1,⊥) ⊆ x)와 같은 쿼리가 지원된다.
• 실수 특징은 특징 값의 고정된 순서를 사용해 불린 인코딩으로 컴파일되어, FOIL의 불린 인스턴스 공간으로의 변환을 가능하게 한다.
• 결정 트리는 모델 의미를 유지하면서도 효율적인 쿼리 평가를 가능하게 하는 이진 결정 다이어그램(BDDs)으로 컴파일된다.
• 핵심적인 기술적 통찰은 결함 없는 BDD가 아니더라도, 가디언 구성 요소 간 경로가 일관성을 유지할 경우, 결정 트리에서 유도된 비자유 BDD도 효율적인 평가를 지원할 수 있다는 점이다.
• 평가 알고리즘은 부분 인스턴스의 결정화를 활용하여 양성 완성의 존재 여부를 확인하며, 이는 FBDD 평가 기법에서 유도된 것이다.

실험 결과

연구 질문

• RQ1 기계 학습 모델에서 다양한 설명 가능성 쿼리를 체계적으로 표현할 수 있는 선언적 논리 기반 언어를 설계할 수 있는가?
• RQ2 결정 트리 및 결정 다이어그램에서 FOIL 쿼리 평가의 계산 복잡도는 무엇인가?
• RQ3 입력 공간이 지수적으로 증가하더라도, 어떤 구조적 또는 문법적 제약 조건 하에서 FOIL 평가가 여전히 처리 가능한가?
• RQ4 FOIL의 형식적 의미 체계는 추가적인 정당화 없이도 타당하고 충실한 설명을 보장할 수 있는가?
• RQ5 FOIL가 BDD와 같은 표준 데이터 구조로 컴파일될 수 있는 정도는 어느 정도이며, 이 과정에서 쿼리 의미 체계와 효율성이 유지되는가?

주요 결과

• FOIL는 '이 부분 입력과 일관된 양성 인스턴스가 존재하는가?'와 같은 설명 가능한 쿼리를 깔끔한 논리 문법을 사용해 기술할 수 있다.
• 가디언 구성 요소 간 경로 의미 체계가 일관할 경우, 비자유 BDD로 컴파일된 결정 트리에서 존재적 FOIL 쿼리의 평가는 심지어 엄밀히 자유가 아니더라도 처리 가능하다.
• 입력 공간이 지수적으로 증가하더라도, 조각 제한이나 구조가 유한한 모델(예: 특징 값을 순서대로 인코딩한 결정 트리)의 경우 FOIL 평가의 복잡도는 다항식이다.
• 프로토타입 구현은 FOIL이 실용적으로 사용될 수 있음을 입증하며, 사용자 友好的한 문법을 통해 상호작용 가능한 쿼리 작성과 모델 탐색을 지원한다.
• 실수 특징을 불린 인코딩으로 컴파일하는 과정은 임계값 쿼리의 의미 체계를 유지하며, 이를 정확히 FOIL 논리로 변환할 수 있다.
• 이 방법은 논리의 의미 체계가 모델의 행동을 근사하거나 모호하게 하지 않고 직접 반영하므로 설명이 형식적으로 타당함을 보장한다.