[논문 리뷰] Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation

Fan Yang, Ninghao Liu외 2명|arXiv (Cornell University)|2021. 01. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 42인용 수 4

한 줄 요약

이 논문은 원시 데이터(텍스트 및 이미지)에 대해 고품질의 의미적으로 유의미한 역행성 사례를 생성하기 위해 분리된, 속성 조건이 부여된 잠재공간에서 최적화하는 생성 프레임워크인 속성 정보가 반영된 편향(Attributе-Informed Perturbation, AIP)을 제안한다. 타겟 레이블에 조건을 부여하고 반복적으로 잠재 벡터를 개선함으로써 생성 모델을 최적화함으로써, 모델 예측을 뒤바꾸면서도 데이터 분포를 유지하는 유효하고 현실적인 역행성 사례를 효율적으로 생성한다. 이는 실제 데이터셋에서 품질, 효율성, 해석 가능성 측면에서 기존 방법들을 능가한다.

ABSTRACT

With the wide use of deep neural networks (DNN), model interpretability has become a critical concern, since explainable decisions are preferred in high-stake scenarios. Current interpretation techniques mainly focus on the feature attribution perspective, which are limited in indicating why and how particular explanations are related to the prediction. To this end, an intriguing class of explanations, named counterfactuals, has been developed to further explore the "what-if" circumstances for interpretation, and enables the reasoning capability on black-box models. However, generating counterfactuals for raw data instances (i.e., text and image) is still in the early stage due to its challenges on high data dimensionality and unsemantic raw features. In this paper, we design a framework to generate counterfactuals specifically for raw data instances with the proposed Attribute-Informed Perturbation (AIP). By utilizing generative models conditioned with different attributes, counterfactuals with desired labels can be obtained effectively and efficiently. Instead of directly modifying instances in the data space, we iteratively optimize the constructed attribute-informed latent space, where features are more robust and semantic. Experimental results on real-world texts and images demonstrate the effectiveness, sample quality as well as efficiency of our designed framework, and show the superiority over other alternatives. Besides, we also introduce some practical applications based on our framework, indicating its potential beyond the model interpretability aspect.

연구 동기 및 목표

• 텍스트 및 이미지와 같은 원시 데이터 인스턴스에 대해 유효하고 의미적으로 의미 있는 역행성 사례를 생성하는 데 도전하는 것. 이는 높은 차원성과 비의미적인 특성으로 인해 기존 방법들이 어려움을 겪는 영역이다.
• 기존의 역행성 사례 생성 기법의 한계—예를 들어 학습 세트 프로토타입에 의존하거나, 효율적이지 못한 특성 교체, 또는 비현실적인 데이터 공간의 변형—을 극복하기 위해, 체계적인 잠재공간에서 생성 모델링을 활용하는 것.
• 블랙박스 딥 네트워크를 대상으로 효율적이고 제어 가능하며 고품질의 역행성 사례 생성을 가능하게 하는 방법을 설계하는 것. 특히 행동 가능한 통찰을 요구하는 고위험 응용 분야에서 유용하다.
• 역행성 사례의 실용적 유용성을 해석 가능성 외에도 데이터 증강 및 모델의 강건성 향상과 같은 후행 작업에 활용할 수 있음을 보여주는 것.

제안 방법

• 프리트레인된 생성 모델(예: VAE 또는 GAN)을 특정 타겟 레이블에 조건을 주어 속성 정보가 반영된 잠재공간을 구성함으로써, 분리되고 의미적으로 의미 있는 잠재 표현을 가능하게 한다.
• 역행성 사례 생성은 쿼리 인스턴스의 잠재 벡터를 속성 정보가 반영된 공간에서 최적화하여 예측 이동을 원하는 레이블 쪽으로 유도하는 역행성 손실을 최소화함으로써 수행된다.
• 최적화 과정은 기울기 기반 방법을 사용하여 반복적으로 잠재 코드를 업데이트함으로써, 생성된 샘플이 데이터 다양체 내에 머물러 있고 의미적으로 일관성을 유지하도록 보장한다.
• 최적화 후, 개선된 잠재 벡터는 원래 데이터 공간에서 역행성 사례 샘플로 복원되며, 원본 인스턴스와의 구조적 및 의미적 일관성을 유지한다.
• 이 방법은 고차원의 원시 데이터 공간에서 직접적인 변형을 피하고, 특성이 더 강건하고 해석 가능성이 높은 낮은 차원의 분리된 잠재공간에서 작동한다.
• 이 프레임워크는 생성 모델과 잠재공간 조건을 각각의 데이터 모odal에 맞게 적응시킴으로써, 이미지 및 텍스트 데이터 모두를 지원한다.

Figure 1 . Designed framework for counterfactual sample.

실험 결과

연구 질문

• RQ1 학습 세트 프로토타입이나 혼란 요소 샘플에 의존하지 않고도 원시 데이터 인스턴스(예: 이미지 및 텍스트)에 대해 고품질의 의미적으로 의미 있는 역행성 사례를 생성할 수 있는가?
• RQ2 직접적인 변형이 비현실적인 고차원이고 비의미적인 데이터 공간에서, 어떻게 효과적으로 역행성 사례 생성을 최적화할 수 있는가?
• RQ3 분리된, 속성 조건이 부여된 잠재공간에서 작동함으로써, 효율적이고 제어 가능한 역행성 사례 생성을 달성할 수 있는가?
• RQ4 실제 데이터셋에서 기존의 역행성 사례 생성 기준선 대비 AIP 방법의 품질, 다양성 및 효율성은 어떻게 비교되는가?
• RQ5 AIP를 통해 생성된 역행성 사례는 데이터 증강 및 모델 강건성 향상과 같은 후행 작업에 효과적으로 활용될 수 있는가?

주요 결과

• 인간 평가 및 자동화된 메트릭을 통해 검증된 결과, AIP 프레임워크는 기준선 방법 대비 훨씬 높은 의미적 품질과 현실성의 역행성 사례를 생성한다.
• 이미지 및 텍스트 데이터셋에서, 데이터 증강에 사용되었을 때 높은 분류 정확도와 낮은 분산을 달성하였으며, 일부 벤치마크에서 최대 2.5%의 테스트 정확도 향상을 기록했다.
• 프레임워크는 뛰어난 효율성을 보이며, 특히 혼란 요소 인스턴스가 이용 불가능한 상황에서 특성 교체 기반 기준선 대비 최대 10배 빠른 속도로 역행성 사례를 생성한다.
• AIP를 통해 생성된 역행성 사례는 평균적으로 90% 이상의 경우에서 모델 예측을 원하는 레이블로 뒤바꾸며, 원본 데이터와의 분포적 편차는 최소한으로 유지된다.
• 절단 실험을 통해 속성 정보가 반영된 잠재공간 최적화가 유효하고 의미 있는 역행성 사례 생성에 필수적임을 확인하였으며, 조건 없이 종단 간 잠재공간 최적화보다 뛰어난 성능을 보였다.
• 이 프레임워크는 모델 개선 및 적대적 강건성 향상과 같은 실용적 응용을 가능하게 하며, 역행성 사례가 해석 가능할 뿐 아니라 실제 환경에서 행동 가능한 통찰을 제공할 수 있음을 보여준다.

Figure 2 . General illustration of the attribute-informed latent space in generative models. Particularly, blue arrows indicate the forward flow of computations, while orange arrows indicate the back-propagation flow of gradients. The dash lines denote the losses for generative model training.