[논문 리뷰] Efficient computation of counterfactual explanations of LVQ models

André Artelt, Barbara Hammer|arXiv (Cornell University)|2019. 08. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 35인용 수 9

한 줄 요약

이 논문은 학습 벡터 양자화(LVQ) 모델에서의 역행성 설명을 계산하기 위한 새로운 효율적 프레임워크를 제안한다. 이는 원형 기반 구조를 활용하여, 기저가 되는 거리 척도(국소적 또는 전역적)에 따라 볼록 또는 비볼록 최적화 문제를 수립함으로써, 모델 무관 방법보다 더 빠른 계산을 가능하게 하며 도메인 제약 조건을 지원한다. 실험 결과는 뚜렷한 속도 향상과 특성 변화 감소를 보여준다.

ABSTRACT

The increasing use of machine learning in practice and legal regulations like EU's GDPR cause the necessity to be able to explain the prediction and behavior of machine learning models. A prominent example of particularly intuitive explanations of AI models in the context of decision making are counterfactual explanations. Yet, it is still an open research problem how to efficiently compute counterfactual explanations for many models. We investigate how to efficiently compute counterfactual explanations for an important class of models, prototype-based classifiers such as learning vector quantization models. In particular, we derive specific convex and non-convex programs depending on the used metric.

연구 동기 및 목표

• LVQ와 같이 점점 더 실생활 의사결정에 활용되고 있는 원형 기반 모델에 대해 효율적인 역행성 설명 방법이 부족한 문제를 해결하기 위해.
• LVQ의 구조적 특성을 활용한 모델 전용 최적화 프레임워크를 개발하여 더 빠르고 실현 가능한 역행성 생성을 위해.
• 역행성 생성에 도메인 지식을 제약 조건으로 통합하여 타당성과 실현 가능성을 향상시키기 위해.
• 모델 전용 방법이 일반 목적의 모델 무관 접근 방식보다 계산 속도와 필요한 입력 변경 사항 측면에서 뛰어나다는 것을 입증하기 위해.
• 최소화되고 실행 가능한 역행성을 생성할 수 있는 확장 가능하고 미분 가능한 프레임워크를 제공하기 위해.

제안 방법

• 해당 방법은 사용된 척도에 따라 볼록 또는 비볼록 이차 제약 조건을 가진 이차 프로그래밍(QCQP)으로 역행성 생성을 수립한다.
• 전역 척도의 경우, 결정 경계는 선형 부등식 $\vec{x}^{\top}\vec{q}_{ij} + r_{ij} < 0$ 로 표현되며, 공유된 $\mathbf{\Omega}$ 행렬을 가진 마할라노비스 거리에서 유도된다.
• 국소 척도의 경우, 결정 경계는 $\frac{1}{2}\vec{x}^{\top}\mathbf{Q}_{ij}\vec{x} + \vec{x}^{\top}\vec{q}_{ij} + r_{ij} + \epsilon \leq 0$ 형태의 이차형식을 포함한다. 여기서 $\mathbf{Q}_{ij} = \mathbf{\Omega}_i - \mathbf{\Omega}_j$ 이다.
• 비볼록 QCQP는 페널티 볼록-비볼록 절차(CCP)를 사용하여 근사적으로 해결하며, 각 반복에서 비볼록 항 $g(\vec{x}') = \frac{1}{2}\vec{x}'^{\top}\mathbf{Omega}_j\vec{x}'$ 를 선형화한다.
• 입력의 변형 크기를 제어하기 위해 정규화 함수 $\theta(\cdot)$ (예: $\ell_1$ 또는 $\ell_2$) 를 사용하여 최소한의 변화를 촉진한다.
• 도메인 제약 조건은 최적화 문제에 부등식 제약 조건을 추가하여 통합되며, 타당하고 실현 가능한 역행성을 생성할 수 있게 한다.

실험 결과

연구 질문

• RQ1 LVQ 모델에 대해 원형 기반 구조를 활용하여 효율적인 역행성 설명을 계산할 수 있는가?
• RQ2 LVQ 역행성 설명의 경우, 볼록 및 비볼록 최적화 수식은 속도와 변형 크기 측면에서 어떻게 비교되는가?
• RQ3 어느 정도까지 도메인 특화 제약 조건을 역행성 생성 과정에 통합하여 타당성을 향상시킬 수 있는가?
• RQ4 제안된 방법은 계산 효율성과 필요로 하는 특성 변경 측면에서 모델 무관 역행성 방법과 어떻게 비교되는가?
• RQ5 페널티 CCP 방법은 비볼록 QCQP 수식을 LVQ 모델에 대해 신뢰성 있게 근사할 수 있는가?

주요 결과

• 제안된 방법은 특히 대규모 LVQ 모델에서 모델 무관 역행성 방법보다 뚜렷한 속도 향상을 달성한다.
• 기존 방법과 비교해 본 프레임워크는 필요한 변형 크기(즉, 특성 변경)를 줄여 더 실행 가능한 역행성을 만들어낸다.
• 비볼록 QCQP 수식을 사용한 국소 척도의 활용은 더 정확한 결정 경계 모델링을 가능하게 하여 역행성 품질을 향상시킨다.
• 페널티 CCP 접근법은 비볼록 QCQP에 대해 안정적이고 효율적인 근사값을 제공하며, 최소한의 계산 오버헤드로 실현 가능한 해에 수렴한다.
• 추가 부등식 제약 조건을 통한 도메인 제약 조건 통합은 계산 효율성을 희생시키지 않은 채 더 타당한 역행성을 만들어낸다.
• 실험적 평가를 통해 방법이 잘 스케일링되며, 최소화되고 의미적으로도 타당한 역행성을 생성함을 확인할 수 있었다.