[논문 리뷰] NeuronFair: Interpretable White-Box Fairness Testing through Biased Neuron Identification

Haibin Zheng, Zhiqing Chen외 7명|arXiv (Cornell University)|2021. 12. 25.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

NeuronFair는 구조화된 데이터에서 SOTA 방법 대비 5.84배 더 많은 IDI와 534.56% 빠른 생성 속도를 달성하면서, 구조화된 데이터뿐 아니라 이미지와 텍스트와 같은 비구조화된 데이터를 지원하는 백박스 테스트 프레임워크입니다. 이는 깊이 신경망(DNN) 내 편향된 뉴런을 식별하고, 이를 기반으로 해석 가능하고 효율적인 개인 차별성 인스턴스(IDI) 생성을 가능하게 합니다.

ABSTRACT

Deep neural networks (DNNs) have demonstrated their outperformance in various domains. However, it raises a social concern whether DNNs can produce reliable and fair decisions especially when they are applied to sensitive domains involving valuable resource allocation, such as education, loan, and employment. It is crucial to conduct fairness testing before DNNs are reliably deployed to such sensitive domains, i.e., generating as many instances as possible to uncover fairness violations. However, the existing testing methods are still limited from three aspects: interpretability, performance, and generalizability. To overcome the challenges, we propose NeuronFair, a new DNN fairness testing framework that differs from previous work in several key aspects: (1) interpretable - it quantitatively interprets DNNs' fairness violations for the biased decision; (2) effective - it uses the interpretation results to guide the generation of more diverse instances in less time; (3) generic - it can handle both structured and unstructured data. Extensive evaluations across 7 datasets and the corresponding DNNs demonstrate NeuronFair's superior performance. For instance, on structured datasets, it generates much more instances (~x5.84) and saves more time (with an average speedup of 534.56%) compared with the state-of-the-art methods. Besides, the instances of NeuronFair can also be leveraged to improve the fairness of the biased DNNs, which helps build more fair and trustworthy deep learning systems.

연구 동기 및 목표

• 기존 DNN 공정성 테스트 방법들이 결정이 왜 불공평한지 설명하지 못하는 해석 가능성 부족 문제를 해결합니다.
• 특히 고차원적이고 비선형적인 DNN에서 다양하고 효과적인 개인 차별성 인스턴스(IDI) 생성에 있어 현재 방법의 한계를 극복합니다.
• 특성 수준의 조작이 어려운 비구조화된 데이터(예: 이미지, 텍스트)로의 일반화를 향상시킵니다.
• 모멘텀과 동적 손실 최적화를 통해 IDI 생성 중 시간 소모를 줄이고 기울기 소멸 문제를 방지합니다.
• DNN 내 편향된 뉴런 행동에 대한 실질적인 통찰을 제공함으로써 실용적인 공정성 평가 및 완화를 가능하게 합니다.

제안 방법

• 활성화 기반 해석을 사용하여 DNN의 각 은닉층 내 편향된 뉴런을 식별하고, 불공평한 예측에 기여하는 정도를 정량화합니다.
• 뉴런 및 레이어 수준에서 차별성의 심각도를 정량적으로 측정하기 위해 AS 곡선과 AUC 지표를 도입합니다.
• 이중 단계 IDI 생성 전략을 적용합니다: 전역 단계에서는 모멘텀 가속 기반 기울기 탐색을 통해 다양한 입력 영역을 탐색하고, 국소 단계에서는 동적 손실을 활용해 인스턴스를 정밀하게 개선하여 다양성을 향상시킵니다.
• 입력 특성에 기울기 유도 편향을 적용하며, 비구조화된 데이터(예: 이미지 픽셀 또는 텍스트의 토큰 수준 변경)에 대해서는 특수한 처리를 통해 민감 속성의 변경을 구현합니다.
• 최적화 과정 중에 적응하는 동적 손실 함수를 사용하여 국소 최소값을 피하고 기울기 소멸 문제를 완화합니다.
• 민감 속성의 변경을 의미 있는 입력 편향으로 매핑함으로써, 구조화된 데이터뿐 아니라 비구조화된 데이터를 모두 지원합니다(예: 픽셀 수준의 편집을 통해 얼굴 이미지의 성별을 뒤바꿈).

실험 결과

연구 질문

• RQ1 DNN 내 편향된 뉴런을 체계적으로 식별하고, 불공평한 예측의 원인을 정량적으로 해석할 수 있는가?
• RQ2 뉴런 수준의 해석이 DNN 내 생성된 개인 차별성 인스턴스(IDI)의 효과성과 다양성에 기여하는가?
• RQ3 제안된 방법이 구조화된 데이터뿐 아니라 이미지와 텍스트를 포함한 비구조화된 데이터에서도 효율적으로 IDI를 생성할 수 있는가?
• RQ4 SOTA 공정성 테스트 방법 대비 NeuronFair의 IDI 생성 속도, 수량, 다양성 측면에서의 성능 비교는 어떠한가?
• RQ5 생성된 IDI는 재학습 또는 완화를 통해 원래 DNN의 공정성을 향상시키는 데 효과적인가?

주요 결과

• NeuronFair는 구조화된 데이터셋에서 SOTA 방법 대비 평균적으로 5.84배 더 많은 개인 차별성 인스턴스(IDI)를 생성합니다.
• SOTA 방법 대비 IDI 생성 시간 평균 속도 향상률이 534.56%에 달하여 효율성 향상이著명합니다.
• 이전 방법이 실패하는 컴퓨터 비전 응용 분야에서도 얼굴 이미지와 같은 비구조화된 데이터를 성공적으로 처리하여 공정성 테스트를 가능하게 했습니다.
• AUC 기반의 차별성 심각도 지표는 불공평한 예측에 가장 기여하는 레이어와 뉴런을 효과적으로 식별하여 타겟 모델 분석을 가능하게 했습니다.
• NeuronFair에서 생성된 IDI는 재학습에 활용되었을 때 공정성을 향상시키는 데 효과적이며, 신뢰할 수 있는 DNN 구축에 실질적인 유용성을 보였습니다.
• 모멘텀 기반 기울기 탐색과 동적 손실 함수는 기울기 소멸 문제를 효과적으로 완화하고, 특히 고차원 공간에서 인스턴스의 다양성을 향상시켰습니다.