[논문 리뷰] Improving LIME Robustness with Smarter Locality Sampling

Sean Saito, Eugene Chua외 2명|arXiv (Cornell University)|2020. 06. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 10인용 수 9

한 줄 요약

이 논문은 LIME의 단순한 가우시안 샘플링을 조건부 타뷸라 GAN(CTGAN)으로 대체하여 더 현실적인 합성 데이터를 생성하는 데 robust한 LIME 변종인 CTGAN-LIME를 제안한다. CTGAN을 실제 데이터와 유사하게 보이게 하기 위해 비평가 네트워크를 속이는 방식으로 훈련함으로써, 편향되거나 악성 행위를 유발하는 모델 행동을 탐지하는 데 성능을 향상시켰다. 이로 인해 해시 모델의 악성 행동을 식별하는 데 최대 99.94%의 top-1 정확도를 달성하면서도, 원래 LIME 수준의 해석 품질을 유지하였다.

ABSTRACT

Explainability algorithms such as LIME have enabled machine learning systems to adopt transparency and fairness, which are important qualities in commercial use cases. However, recent work has shown that LIME's naive sampling strategy can be exploited by an adversary to conceal biased, harmful behavior. We propose to make LIME more robust by training a generative adversarial network to sample more realistic synthetic data which the explainer uses to generate explanations. Our experiments demonstrate that our proposed method demonstrates an increase in accuracy across three real-world datasets in detecting biased, adversarial behavior compared to vanilla LIME. This is achieved while maintaining comparable explanation quality, with up to 99.94\% in top-1 accuracy in some cases.

연구 동기 및 목표

• 단순한 가우시안 샘플링으로 인해 발생하는 분포 외부(OOD) 합성 샘플을 악용하는 악성 공격에 취약한 LIME의 문제를 해결하기 위해.
• 블랙박스 모델에서 편향되거나 해로운 행동을 탐지하는 데 있어 LIME 기반 설명 가능성의 강건성을 향상시키기 위해.
• 악성 조작에 저항성을 높이면서도 높은 품질의 설명을 유지하기 위해.
• 생성 모델링이 악성 조건 하에서 더 충실한 국소적 설명을 생성할 수 있는지 평가하기 위해.

제안 방법

• 기본적으로 LIME가 단위 가우시안 분포에서 합성 데이터를 추출하는 방식을, 현실적인 타뷸라 데이터를 생성할 수 있도록 학습하는 조건부 타뷸라 GAN(CTGAN)으로 대체한다.
• 실제 데이터와 LIME가 생성한 합성 데이터를 기반으로 훈련된 판별자 네트워크를 사용하여, CTGAN이 생성한 샘플이 실제 데이터로 간주되도록 비평가의 신뢰도를 극대화하도록 CTGAN을 훈련시킨다.
• 훈련된 CTGAN을 LIME의 데이터 샘플러로 활용하여, 합성 샘플이 실제 데이터의 다양체를 따라 분포되도록 보장함으로써 OOD 영역을 피한다.
• 낮은 신뢰도를 가진 합성 샘플을 거부함으로써 샘플 품질을 향상시키기 위해 판별자 기반의 필터링 단계를 통합한다.
• 국소적으로 가중된 제곱 오차 손실을 최적화하여, CTGAN이 생성한 샘플을 활용해 국소 적합성과 강건성을 향상시킨다.
• 세 가지 실세계 데이터셋인 COMPAS, German Credit, Communities and Crime를 대상으로 랜덤 포레스트를 블랙박스 모델로 사용하여 방법을 적용한다.

실험 결과

연구 질문

• RQ1 LIME의 단순한 샘플링 전략을 GAN 기반 생성기로 대체함으로써, OOD 합성 데이터를 악용하는 공격에 대한 강건성이 향상되는가?
• RQ2 CTGAN이 생성한 샘플을 사용할 경우, 원래 LIME 대비 설명 품질이 유지되거나 향상되는가?
• RQ3 블랙박스 및 화이트박스 공격 환경에서 CTGAN-LIME는 편향된 행동을 탐지하는 데 얼마나 효과적인가?
• RQ4 샘플 필터링을 위한 판별자를 통합함으로써 설명 시스템의 강건성이 어느 정도 향상되는가?

주요 결과

• CTGAN-LIME는 세 가지 데이터셋 전반에서 블랙박스 및 화이트박스 공격 환경에서 원래 LIME보다 편향된 행동 탐지 정확도가 높았다.
• 화이트박스 공격 환경에서 공격자가 CTGAN 모델에 접근할 수 있는 상황에서도 CTGAN-LIME는 원래 LIME를 능가했으며, 기준선 대비 정확도 감소 폭이 미미했다.
• CTGAN-LIME의 정밀도는 LIME와 유사했으며, COMPAS에서는 73.27%, German Credit에서는 77.89%, Communities and Crime에서는 80.64%를 기록하여 설명 품질 저하가 없음을 확인했다.
• 일부 실험 설정에서는 CTGAN-LIME가 악성 행동 탐지에 최대 99.94%의 top-1 정확도를 달성하여 강력한 강건성을 입증했다.
• 정성적 PCA 분석 결과, CTGAN이 생성한 샘플은 원래 LIME의 가우시안 샘플링 점들보다 실제 데이터 다양체와 더 잘 겹쳤으며, 후자는 군집화되어 있고 OOD 영역에 위치해 있었다.
• 판별자 기반 필터링 단계는 CTGAN-LIME의 정확도를 추가로 향상시켜, 이가 샘플의 현실성과 강건성 향상에 기여한다는 점을 확인했다.