[논문 리뷰] Privacy Meets Explainability: A Comprehensive Impact Benchmark

Saifullah Saifullah, Dominique Mercier외 3명|arXiv (Cornell University)|2022. 11. 08.

Explainable Artificial Intelligence (XAI)참고 문헌 52인용 수 7

한 줄 요약

이 논문은 딥러닝에서 설명 가능 AI(XAI) 방법이 생성하는 설명의 품질에 영향을 미치는 프라이버시 보장 기계학습(PPML) 기법—특히 차별적 프라이버시와 피어 투 피어 학습—에 대한 첫 번째 종합 벤치마크를 제시한다. 차별적 프라이버시는 일반적으로 설명의 해석 가능성과 충실도를 감소시키지만, 피어 투 피어 학습은 이러한 영향을 완화시킬 수 있으며, 특히 차별적 프라이버시와 조합될 경우 더욱 효과적이다.

ABSTRACT

Since the mid-10s, the era of Deep Learning (DL) has continued to this day, bringing forth new superlatives and innovations each year. Nevertheless, the speed with which these innovations translate into real applications lags behind this fast pace. Safety-critical applications, in particular, underlie strict regulatory and ethical requirements which need to be taken care of and are still active areas of debate. eXplainable AI (XAI) and privacy-preserving machine learning (PPML) are both crucial research fields, aiming at mitigating some of the drawbacks of prevailing data-hungry black-box models in DL. Despite brisk research activity in the respective fields, no attention has yet been paid to their interaction. This work is the first to investigate the impact of private learning techniques on generated explanations for DL-based models. In an extensive experimental analysis covering various image and time series datasets from multiple domains, as well as varying privacy techniques, XAI methods, and model architectures, the effects of private training on generated explanations are studied. The findings suggest non-negligible changes in explanations through the introduction of privacy. Apart from reporting individual effects of PPML on XAI, the paper gives clear recommendations for the choice of techniques in real applications. By unveiling the interdependencies of these pivotal technologies, this work is a first step towards overcoming the remaining hurdles for practically applicable AI in safety-critical domains.

연구 동기 및 목표

• 딥러닝에서 프라이버시 보장 기계학습(PPML)과 설명 가능 AI(XAI) 간의 미해결된 상호작용을 조사하기 위해.
• 특히 차별적 프라이버시와 피어 투 피어 학습을 포함한 다양한 PPML 기법이 XAI로 생성된 설명의 해석 가능성과 충실도에 어떻게 영향을 미치는지 평가하기 위해.
• 실제 안전 중심 응용 분야에서 PPML 및 XAI 기법을 선택하기 위한 실질적인 권고를 제공하기 위해.
• 다양한 데이터셋과 아키텍처 간의 프라이버시, 모델 성능, 설명 품질 간의 일반적 추세와 상호 교환 관계를 규명하기 위해.

제안 방법

• 의료, 센서, 문서 분석 등 다양한 분야의 다수의 이미지 및 시계열 데이터셋에서 광범위한 실험을 수행하였다.
• 차별적 프라이버시(DP), 피어 투 피어 평균화(FedAVG), 그리고 그 조합(DP-Fed)과 같은 다양한 PPML 기법을 적용한 다양한 모델 아키텍처(예: CNN, 트랜스포머)를 평가하였다.
• 입력에 대한 히트맵을 생성하기 위해 샐런시 맵, Grad-CAM, 그리고 편차 기반 할당 기법 등 다양한 XAI 방법을 적용하였다.
• 해석 가능성, 충실도(예: Infidelity) 및 합성 데이터셋에서 알려진 결합 결정 기반 형태와의 일치도를 측정하는 지표를 사용해 설명 품질을 정량적으로 평가하였다.
• 다른 국소 최소값으로 인한 변동성을 최소화하기 위해 통제된 학습 설정을 사용하여, 다양한 모델 인스턴스 간 공정한 비교를 확보하였다.
• 알려진 결정 경로를 가진 합성 데이터셋과 기준 분할 맵을 사용하여 설명 정확도를 검증하였다.

실험 결과

연구 질문

• RQ1 차별적 프라이버시(DP) 적용이 딥러닝 모델에서 XAI가 생성하는 히트맵의 해석 가능성과 충실도에 어떤 영향을 미치는가?
• RQ2 피어 투 피어 학습(FedAVG)은 단독으로나 차별적 프라이버시와 조합하여 설명 품질에 어느 정도의 영향을 미치는가?
• RQ3 다양한 데이터셋, 모델 아키텍처, XAI 방법 간에 프라이버시 보장과 설명 품질 사이의 상호 교환 관계는 어떠한가?
• RQ4 피어 투 피어 학습은 차별적 프라이버시가 설명 품질에 악영향을 미치는 것을 완화할 수 있으며, 만약 가능하다면 어떤 조건에서 그러한 효과를 보이는가?
• RQ5 정량적 XAI 지표(예: Infidelity, 민감도)는 프라이버시 보장 환경에서 인간의 해석 가능성과 어떻게 상관관계가 있는가?

주요 결과

• 모든 평가된 데이터셋과 모델 아키텍처에서 차별적 프라이버시(DP)는 할당 기반 설명의 해석 가능성과 충실도를 크게 감소시킨다.
• 피어 투 피어 학습(FedAVG)은 단독으로 사용될 경우, 비피어 투 피어 기반선 대비 더 연속적이고 공간적으로 일관된 히트맵을 생성함으로써 설명의 해석 가능성을 향상시킬 수 있다.
• 차별적 프라이버시와 피어 투 피어 학습의 조합(DP-Fed)은 DP가 설명 품질에 악영향을 미치는 것을 완화시켜 상호 보완적 효과가 있음을 시사한다.
• 편차 기반 XAI 방법은 기울기 기반 방법(예: 샐런시 맵)에 비해 프라이버시 제약 조건 하에서도 더 뛰어난 내성성을 보였다.
• 기준 분할 일치 지표는 설명이 종종 결정 기반 영역 전체(예: 전체 형태)를 커버하지 못함을 드러내었으며, 특히 모델이 부분적인 단서(예: 정점 각도)만 사용하는 경우에도 해석의 내재적 중복성 때문에 이러한 문제가 발생함을 시사한다.
• 모델 성능은 일반적으로 DP로 학습된 모델에서 낮아졌으며, 이는 설명의 안정성과 충실도 저하에 기여할 수는 있으나, 설명 품질 악화의 유일한 요인은 아니었다.