[논문 리뷰] Auditing Black-box Models by Obscuring Features

Philip Adler, Casey Falk외 5명|arXiv (Cornell University)|2016. 02. 23.

Imbalanced Data Classification Techniques참고 문헌 9인용 수 10

한 줄 요약

이 논문은 모델의 내부를 접근하거나 재학습하지 않고도 예측에 영향을 미치는 특정 특징의 영향을 평가하기 위해 특정 특징을 가림으로써 블랙박스 모델을 감시하는 방법을 제안한다. 이 방법은 특징 감시 기법을 활용하여 특징 민감도를 측정하며, 복잡한 모델의 해석과 성별, 인종과 같은 편향된 특성에 대한 감시를 가능하게 한다.

ABSTRACT

Data-trained predictive models are widely used to assist in decision making. But they are used as black boxes that output a prediction or score. It is therefore hard to acquire a deeper understanding of model behavior: and in particular how different attributes influence the model prediction. This is very important when trying to interpret the behavior of complex models, or ensure that certain problematic attributes (like race or gender) are not unduly influencing decisions. In this paper, we present a technique for auditing black-box models: we can study the extent to which existing models take advantage of particular features in the dataset without knowing how the models work. We show how a class of techniques originally developed for the detection and repair of disparate impact in classification models can be used to study the sensitivity of any model with respect to any feature subsets. Our approach does not require the black-box model to be retrained. This is important if (for example) the model is only accessible via an API, and contrasts our work with other methods that investigate feature influence like feature selection. We present experimental evidence for the effectiveness of our procedure using a variety of publicly available datasets and models. We also validate our procedure using techniques from interpretable learning and feature selection.

연구 동기 및 목표

• 모델 재학습이나 내부 접근 없이도 블랙박스 모델의 특징 영향을 감시할 수 있도록 하는 것.
• 인종, 성별 등 민감한 특성(예: 인종, 성별)이 모델 예측에 부당하게 영향을 미치는지 확인하는 것.
• 모델의 복잡성과 관계없이 어떤 모델과 특징 조합에도 적용 가능한 방법을 제공하는 것.
• 예측 API만을 사용하여도 실세계 머신러닝 시스템에서 공정성 평가와 해석 가능성 지원을 가능하게 하는 것.

제안 방법

• 입력 데이터의 특정 특징 조합을 가림으로써 모델 예측의 변화를 관찰하는 방법.
• 분류 모델에서 차별적 영향을 탐지하기 위해 개발된 기법을 활용하여 특징 조합에 대한 민감도를 측정하는 방법.
• 모델 가중치나 아키텍처에 대한 접근이 필요 없으며, API를 통한 추론 접근만으로도 가능하다.
• 원본 입력과 가림 처리된 입력의 예측을 비교하여 특징 영향을 정량화하는 방법.
• 이 방법은 어떤 모델과 특징 조합에도 일반적으로 적용 가능하다.
• 예측 변화의 통계적 비교에 기반하여 특징 중요도와 잠재적 편향을 평가하는 방법.

실험 결과

연구 질문

• RQ1 블랙박스 모델이 특정 특징, 특히 민감한 특성(예: 인종, 성별)에 얼마나 의존하는가?
• RQ2 모델 내부에 접근하지 않고도 성별이나 인종과 같은 특징의 편향된 영향을 탐지할 수 있는가?
• RQ3 특징 가림 기법이 모델 행동의 숨겨진 의존성들을 얼마나 효과적으로 드러내는가?
• RQ4 기존의 특징 선택 또는 해석 기법과 비교해 볼 때 이 방법의 성능은 어떠한가?

주요 결과

• 이 방법은 복잡한 모델에서도 예측에 크게 영향을 미치는 특징을 성공적으로 식별한다.
• 모델 출력에 인종이나 성별과 같은 민감한 특성의 부당한 영향을 탐지할 수 있다.
• 해석 가능한 학습 및 특징 선택 방법의 결과와 강한 일치를 보인다.
• 공개 데이터셋을 대상으로 한 실험을 통해 이 방법의 신뢰성과 특징 영향 측정에 대한 민감도가 확인되었다.
• 재학습 없이도 API를 통해만 접근 가능한 모델에서도 이 방법이 효과적으로 작동한다.
• 이 방법은 모델의 공정성과 행동을 감시하기 위한 실용적이고 침습적이지 않은 방법을 제공한다.