[논문 리뷰] On the computation of counterfactual explanations -- A survey

André Artelt, Barbara Hammer|arXiv (Cornell University)|2019. 11. 15.

Explainable Artificial Intelligence (XAI)참고 문헌 21인용 수 17

한 줄 요약

이 종합 검토는 비볼록 제약 조건이 있는 제곱형 제약 조건이 있는 제곱형 프로그래밍(QCQPs)을 해결하기 위해 차등-볼록 프로그래밍과 준정부정형 프로그래밍을 포함한 최적화 기법을 활용하여 다양한 기계 학습 모델을 통해 반사적 설명을 효율적으로 계산하기 위한 모델 특화 방법을 제안한다. 주요 기여는 모델에 대한 내부 정보를 활용하여 모델에 종속적이지 않은 접근 방식에 비해 계산 효율성과 해의 품질을 향상시키는 체계적인 프레임워크를 제공한다는 것이다.

ABSTRACT

Due to the increasing use of machine learning in practice it becomes more and more important to be able to explain the prediction and behavior of machine learning models. An instance of explanations are counterfactual explanations which provide an intuitive and useful explanations of machine learning models. In this survey we review model-specific methods for efficiently computing counterfactual explanations of many different machine learning models and propose methods for models that have not been considered in literature so far.

연구 동기 및 목표

• 대출 승인 및 예측 경찰 활동과 같은 고위험 응용 분야에서의 해석 가능한 기계 학습의 증가하는 필요를 해결하기 위해.
• 모델에 종속적이지 않은 반사적 설명 방법의 한계를 극복하기 위해, 이는 일반적으로 계산 비용이 많이 들고 효율성이 떨어지기 때문이다.
• 모델 내부 정보를 활용하여 더 효율적으로 고품질의 반사적 설명을 계산할 수 있는 모델 특화 알고리즘을 개발하기 위해.
• 기존 문헌에서 다루지 않은 기계 학습 모델에 대해 기존 방법을 확장하기 위해.
• 비볼록 QCQP과 쌍대 기반 해법을 포함한 최적화를 통한 반사적 설명 계산을 위한 통합 프레임워크를 제공하기 위해.

제안 방법

• 논문은 목표 예측을 위한 손실 함수 최소화와 원래 입력에 가까운 정규화 항을 최소화하는 제약 조건이 있는 최적화 문제로 반사적 설명 생성을 공식화한다.
• 모델의 결정 경계를 s.p.s.d. 행렬로 모델링하여 제약 조건을 최적화 문제 내의 이차형식으로 표현할 수 있도록 한다.
• 비볼록 QCQPs의 경우, 현재 반복값을 중심으로 일阶 테일러 전개를 사용해 볼록 부분을 근사함으로써 페널티 볼록-비볼록 절차(CC P)를 적용한다.
• 엄격한 타당성 조건을 만족할 경우, 비볼록 QCQPs에 대해 단일 제약 조건을 갖는 문제를 준정부정형 프로그래밍(SDP)으로 재구성함으로써 쌍대 이론을 활용하여 정확한 해를 구한다.
• 비볼록 제약 조건을 두 개의 볼록 이차형식의 차로 정의하는 데 차등-볼록 프로그래밍(DCP)을 활용한다.
• 초기화로 원래 입력 또는 타당한 해를 사용하여 반복적인 볼록 근사화를 통해 효율적인 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모델 특화 내부 구조를 활용하여 반사적 설명을 더 효율적으로 계산할 수 있는 방법은 무엇인가?
• RQ2 반사적 설명 생성에서 발생하는 비볼록 QCQPs를 해결하는 데 효과적인 최적화 기법은 무엇인가?
• RQ3 쌍대 기반 방법은 비볼록 QCQPs에 적용되어 정확하거나 근사 정확한 해를 달성할 수 있는가?
• RQ4 현재 효율적인 반사적 설명 계산 방법이 없는 기계 학습 모델은 무엇이며, 어떻게 이를 해결할 수 있는가?
• RQ5 모델 특화 방법은 모델에 종속적이지 않은 접근 방식에 비해 품질과 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 모델 특화 방법은 모델 내부 정보와 맞춤형 최적화를 활용하여 모델에 종속적이지 않은 접근 방식에 비해 계산 효율성을 크게 향상시킨다.
• 페널티 볼록-비볼록 절차(CC P)는 반복적으로 볼록 하위 문제를 해결함으로써 비볼록 QCQPs에 대한 신뢰할 수 있는 근사를 제공한다.
• 엄격한 타당성이 확보된 경우 비볼록 QCQPs에 단일 제약 조건이 있는 문제는 준정부정형 프로그래밍(SDP)을 통해 정확하게 해결할 수 있다.
• 차등-볼록 프로그래밍(DCP)의 사용은 복잡한 결정 경계를 반사적 최적화의 제약 조건으로 표현할 수 있게 한다.
• s.p.s.d. 행렬을 통해 모델의 결정 경계를 표현함으로써 이 프레임워크는 다양한 모델에 대해 체계적인 반사적 설명 계산을 지원한다.
• 이 방법은 일반화 가능하며 기존 문헌에서 다루지 않은 모델에도 적용 가능하여 반사적 설명의 범위를 확장한다.