[논문 리뷰] Model-agnostic and Scalable Counterfactual Explanations via Reinforcement Learning

Robert-Florian Samoilescu, Arnaud Van Looveren외 1명|arXiv (Cornell University)|2021. 06. 04.

Explainable Artificial Intelligence (XAI)인용 수 11

한 줄 요약

이 논문은 단일 순방향 전파 내에서 희소하고 분포 내 반례를 생성하는 모델에 종속되지 않는 강화학습 기반 프레임워크를 제안한다. 이는 배치 처리, 타겟 및 특성 조건화, 테이블 및 이미지 데이터 모두에 대한 지원을 가능하게 한다. 기존 최고 성능 기준과 비교해 경쟁적인 성능을 달성하면서도 개별 인스턴스당 반복 최적화를 제거한다.

ABSTRACT

Counterfactual instances are a powerful tool to obtain valuable insights into automated decision processes, describing the necessary minimal changes in the input space to alter the prediction towards a desired target. Most previous approaches require a separate, computationally expensive optimization procedure per instance, making them impractical for both large amounts of data and high-dimensional data. Moreover, these methods are often restricted to certain subclasses of machine learning models (e.g. differentiable or tree-based models). In this work, we propose a deep reinforcement learning approach that transforms the optimization procedure into an end-to-end learnable process, allowing us to generate batches of counterfactual instances in a single forward pass. Our experiments on real-world data show that our method i) is model-agnostic (does not assume differentiability), relying only on feedback from model predictions; ii) allows for generating target-conditional counterfactual instances; iii) allows for flexible feature range constraints for numerical and categorical attributes, including the immutability of protected features (e.g. gender, race); iv) is easily extended to other data modalities such as images.

연구 동기 및 목표

• 개별 인스턴스당 반복 최적화가 필요한 기존 반례 생성 방법의 계산 비효율성을 해결하기 위해.
• 기울기 또는 모델 특화 수정 없이 모델 예측 피드백만을 사용하는 모델에 종속되지 않는 프레임워크를 개발하기 위해.
• 목표 조건화 및 특성 제약(예: 변경 불가능하거나 값의 범위가 제한된 특성, 예: 성별, 나이, 교육 수준)이 가능한 반례 생성을 가능하게 하기 위해.
• 최소한의 아키텍처 변경으로 고차원 데이터 모odalities(예: 이미지)에까지 확장 가능한 방법을 개발하기 위해.
• 유효성과 분포 내 품질을 손상시키지 않고도 빠르고 확장 가능한 반례 생성을 달성하기 위해.

제안 방법

• 딥 강화학습 에이전트는 희소성, 유효성, 분포 내 목표를 조합한 보상 함수를 최소화하도록 입력 특성에 작용하여 반례 인스턴스를 생성하도록 훈련된다.
• 에이전트는 목표 예측으로 향하는 방향을 안내하기 위해 조건부 벡터를 사용하여 목표 조건화 반례를 생성할 수 있다.
• 불변 특성 또는 값의 범위 제약은 추론 중에 마스킹된 액션 스페이스를 통해 구현되며, 제약된 값은 생성 중에 샘플링된다.
• 사전 훈련된 오토인코더를 사용하여 분포 내 품질을 재구성하고 평가하며, 훈련 안정화를 위해 일관성 손실을 적용한다.
• 훈련 파이프라인은 완전히 모델에 종속되지 않으며, 기울기 정보를 사용하지 않고 블랙박스 모델 예측 결과만을 보상 피드백으로 사용한다.
• 테이블 및 이미지 데이터 모두를 지원하기 위해 오토인코더와 관측 공간을 적응시키며, 최소한의 아키텍처 변경으로 가능하다.

실험 결과

연구 질문

• RQ1 반복 최적화를 학습 가능한 종단 간 강화학습 프로세스로 대체함으로써 반례 생성의 확장성과 효율성을 높일 수 있는가?
• RQ2 기울기 또는 아키텍처 가정 없이도 모델에 종속되지 않는 방법이 유효성, 희소성, 분포 내 반례를 얼마나 잘 생성할 수 있는가?
• RQ3 실제 데이터셋에서 불변성 또는 값의 범위 제약이 있을 경우 이 방법의 성능은 어떠한가?
• RQ4 최소한의 적응으로 고차원 데이터 모달리티(예: 이미지)로 이 방법을 확장할 수 있는가?
• RQ5 기존 최고 수준의 반례 생성 방법과 비교해 본다면, 이 방법의 유효성, 희소성, 분포 내 품질은 어떠한가?

주요 결과

• 이 방법은 단일 순방향 전파 내에서 반례 인스턴스를 생성하여 개별 인스턴스당 반복 최적화가 필요 없고, 배치 추론이 가능하다.
• 테이블 데이터셋에서, DiCE 및 MO와 같은 최고 수준의 기준 방법과 비교해 경쟁적인 유효성과 분포 내 성능을 달성하며, 겹치는 클래스 분포에서 낮은 MMD 점수를 기록한다.
• 제약 조건이 있는 조건부 벡터에서 샘플링을 통해 다양한 반례를 생성하면서도 높은 유효성을 유지하며, 성능 저하가 미미하다.
• 이 프레임워크는 MNIST 및 CelebA 이미지 데이터에 대해 유효하고 분포 내 반례를 성공적으로 생성하여 테이블 데이터를 넘어서 일반화 가능성을 입증한다.
• 훈련 중에 매우 안정적이며, 최소한의 초모수 튜닝으로도 다양한 데이터셋과 모델 유형에서 일관된 성능을 보이며 강건하다.
• 주요 지표에서 기준 방법을 능가하거나 동등하게 성과를 내며, 높은 유효성, 낮은 희소성, 유리한 MMD 점수를 기록한다. 특히 겹치는 클래스 분포가 존재하는 상황에서 두드러진 성능을 보인다.