[논문 리뷰] CounteRGAN: Generating Realistic Counterfactuals with Residual Generative Adversarial Nets

Daniel Nemirovsky, Nicolas Thiébaut외 2명|arXiv (Cornell University)|2020. 09. 10.

Explainable Artificial Intelligence (XAI)인용 수 11

한 줄 요약

CounteRGAN은 기계학습 모델을 위한 현실적이고 실행 가능하며 저지연 시간의 역성향(Counterfactual)을 생성하기 위해 새로운 잔차 생성 대비 신경망(RGAN)을 제안한다. 생성자(generator)가 잔차 편향을 학습하고, 판별자(discriminator)가 데이터 분포의 현실성을 강제함으로써, 이전 방법 대비 최대 90,000배 빠른 추론 성능을 달성하면서도 실제 세계 데이터셋에서 역성향의 현실성과 실행 가능성을 향상시킨다.

ABSTRACT

The prevalence of machine learning models in various industries has led to growing demands for model interpretability and for the ability to provide meaningful recourse to users. For example, patients hoping to improve their diagnoses or loan applicants seeking to increase their chances of approval. Counterfactuals can help in this regard by identifying input perturbations that would result in more desirable prediction outcomes. Meaningful counterfactuals should be able to achieve the desired outcome, but also be realistic, actionable, and efficient to compute. Current approaches achieve desired outcomes with moderate actionability but are severely limited in terms of realism and latency. To tackle these limitations, we apply Generative Adversarial Nets (GANs) toward counterfactual search. We also introduce a novel Residual GAN (RGAN) that helps to improve counterfactual realism and actionability compared to regular GANs. The proposed CounteRGAN method utilizes an RGAN and a target classifier to produce counterfactuals capable of providing meaningful recourse. Evaluations on two popular datasets highlight how the CounteRGAN is able to overcome the limitations of existing methods, including latency improvements of >50x to >90,000x, making meaningful recourse available in real-time and applicable to a wide range of domains.

연구 동기 및 목표

• 기존의 역성향 생성 방법이 겪는 낮은 현실성, 낮은 실행 가능성, 높은 지연 시간 등의 한계를 해결하기 위해.
• 의료, 금융, 형사사법과 같은 고위험 분야에서 사용자에게 실시간이고 의미 있는 조치 가능성을 제공하기 위해.
• 데이터 분포의 정밀도를 유지하면서 실행 가능한 입력 편향을 제안하는 GAN 기반 프레임워크를 활용해 현실성과 실행 가능성을 분리하기 위해.
• 모델 기울기의 의존성이 없는 방법을 설계하여 블랙박스 및 비미분 가능 분류기와의 호환성을 확보하기 위해.
• 학습된 모델 내 잠재적 편향을 드러내기 위해, 부당한 특성 간 의존성을 드러내는 역성향을 생성하기 위해.

제안 방법

• 이 방법은 생성자가 입력 데이터에 대한 잔차 편향을 출력하도록 학습하는 잔차 GAN(RGAN)을 사용한다. 직접적으로 역성향을 생성하는 것이 아니라.
• 판별자는 실제 데이터 샘플과 생성된 역성향을 구분하도록 훈련되며, 생성된 출력이 기저 데이터 분포와 일치하도록 현실성을 강제한다.
• 고정된 타겟 분류기가 편향된 입력의 예측 결과를 평가하여, 역성향이 원하는 모델 출력을 이끌도록 보장한다.
• 생성자의 손실 함수는 판별자로부터의 대비 손실과 타겟 분류기로부터의 예측 손실을 조합하여, 엔드 투 엔드 훈련을 가능하게 한다.
• 이 프레임워크는 타겟 분류기의 기울기가 필요로 하지 않기 때문에 블랙박스 모델과 호환되며, 실제 생산 환경에서의 사용이 가능하다.
• 이 방법은 현실성(판별자에 의해 강제)과 실행 가능성(특성 편향의 희소성과 근접성에 의해 안내됨) 및 예측 성과 향상(분류기 피드백을 통한 최적화)을 분리한다.

실험 결과

연구 질문

• RQ1 기울기 기반 최적화에 의존하지 않고도 GAN 기반 프레임워크가 현실적이고 실행 가능한 역성향을 생성할 수 있는가?
• RQ2 잔차 생성자 아키텍처가 표준 GAN 또는 기울기 기반 방법에 비해 역성향의 현실성을 얼마나 향상시킬 수 있는가?
• RQ3 제안된 방법은 RGD 및 CSGP와 같은 최첨단 접근법에 비해 역성향 생성의 지연 시간을 얼마나 줄이는가?
• RQ4 이 방법은 재범 예측에서 인종이나 성별과 관련된 편향과 같은 모델 내 숨겨진 편향을 드러낼 수 있는가?
• RQ5 사용자가 실행 가능하고 이해하기 쉬운 역성향을 생성하는 동안, 높은 예측 성과를 유지할 수 있는가?

주요 결과

• CounteRGAN은 RGD 및 CSGP 대비 지연 시간을 50배에서 90,000배 이상 개선하여 실시간 역성향 생성을 가능하게 한다.
• COMPAS 데이터셋에서 GAN 및 CounteRGAN이 생성한 역성향은 인종을 'Black'에서 'Caucasian'으로, 성별을 'Male'에서 'Female'으로 변경하도록 제안하여 모델의 잠재적 편향을 드러낸다.
• MNIST 및 기타 데이터셋에서의 정성적·정량적 분석을 통해, 기존 방법보다 높은 현실성을 가진 역성향을 생성함을 입증한다.
• CounteRGAN이 생성한 역성향은 강력한 예측 성과를 달성하여 모든 테스트 케이스에서 모델 출력을 원하는 클래스로 성공적으로 뒤집는다.
• 이 방법은 희소성과 해석 가능성을 유지한 채 높은 실행 가능성을 확보하여, 부정적인 전과 수와 같은 비현실적인 변화를 피한다.
• 블랙박스 분류기의 경우에도 성공적으로 역성향을 생성하여, 기울기가 제공되지 않는 실제 시스템 환경에서도 호환성을 입증한다.