[논문 리뷰] Iterative Orthogonal Feature Projection for Diagnosing Bias in Black-Box Models

Julius Adebayo, Lalana Kagal|arXiv (Cornell University)|2016. 11. 15.

Imbalanced Data Classification Techniques참고 문헌 10인용 수 46

한 줄 요약

이 논문은 블랙박스 모델의 편향을 진단하기 위해 반복적 수직 특성 투영(IOFP)을 제안한다. 이 방법은 수직 투영과 성능 변화 탐지 기반으로 각 입력 특성의 예측적 의존도를 측정한다. 이 접근법은 모델 내부 정보가 없이도 해석 가능성과 공정성 감사 기능을 제공하며, 실제 신용 한도 모델에서 성별에 대한 의존도가 낮음을 입증한다.

ABSTRACT

Predictive models are increasingly deployed for the purpose of determining access to services such as credit, insurance, and employment. Despite potential gains in productivity and efficiency, several potential problems have yet to be addressed, particularly the potential for unintentional discrimination. We present an iterative procedure, based on orthogonal projection of input attributes, for enabling interpretability of black-box predictive models. Through our iterative procedure, one can quantify the relative dependence of a black-box model on its input attributes.The relative significance of the inputs to a predictive model can then be used to assess the fairness (or discriminatory extent) of such a model.

연구 동기 및 목표

• 신용, 보험, 고용과 같은 고위험 의사결정에서 사용되는 블랙박스 예측 모델의 해석 가능성을 제공하기 위해.
• 모델의 입력 특성에 대한 상대적 의존도를 정량화함으로써 공정성 감사를 위한 방법을 개발하기 위해.
• 성별, 인종, 종교와 같은 보호 대상 속성에 대한 의존으로 인한 뜻하지 않은 차별을 탐지하기 위해.
• 모델 내부 구조에 대한 접근이 필요 없이도 작동하는 확장성 있고 쿼리 기반의 프레임워크를 제공하기 위해.
• 규제 기관과 실무자들이 어떤 특성이 모델 결과를 주도하는지 식별하고, 이를 바탕으로 공정성 향상 조치를 집중적으로 시행할 수 있도록 지원하기 위해.

제안 방법

• 이 방법은 입력 특성을 목표 속성과 상관관계가 없도록 반복적으로 수직 투영하여 변환한다.
• 각 특성에 대해 비선형 변환(예: 로그, 다항식, 지수함수)을 사용해 입력 행렬을 확장하여 비선형 의존도를 포착한다.
• 모델의 성능을 변환 전과 후로 측정하고, 성능 차이의 절대값(예: MSE 또는 정확도)을 특성의 예측적 의존도로 정량화한다.
• 성능 변화는 각 입력 특성의 상대 중요도를 나타내는 순위 점수로 사용된다.
• 블랙박스에 대한 반복적 쿼리가 가능하다고 가정하며, 그렇지 않은 경우 블랙박스 행동을 근사하기 위해 서rogate 모델을 훈련한다.
• 모든 특성에 대해 반복적으로 알고리즘을 적용하여 전체 입력 의존도 순위를 생성한다.

실험 결과

연구 질문

• RQ1 모델 내부 구조에 대한 접근 없이도, 블랙박스 모델이 개별 입력 특성에 대해 얼마나 상대적으로 의존하는지 어떻게 측정할 수 있는가?
• RQ2 예측 모델이 의사결정을 내릴 때 성별이나 인종과 같은 보호 대상 속성에 얼마나 의존하는가?
• RQ3 수직 투영과 성능 변화 탐지 기법이 모델 예측에 가장 기여하는 특성을 효과적으로 식별할 수 있는가?
• RQ4 이 방법은 신용 평가 시스템과 같은 실제 고위험 모델에서 편향을 탐지하는 데 얼마나 효과적인가?
• RQ5 기존 해석 방법이 모델 복잡성으로 인해 실패하는 경우에도 이 접근법을 공정성 감사에 활용할 수 있는가?

주요 결과

• 반복적 수직 투영 방법은 블랙박스 모델이 각 입력 특성에 대해 얼마나 의존하는지 정량화하는 데 성공했으며, 모델에 대한 접근 없이도 해석 가능성을 제공한다.
• 유럽의 한 은행에서 제공한 실제 신용 한도 모델에서, 성별에 대한 의존도가 항상 낮게 나타나 차별적 영향이 미미함을 입증했다.
• 정규화된 순위 분석 결과, 성별은 신용 한도 결정에 미미한 영향을 미쳤으며, 다른 금융 및 인구통계적 특성들보다도 상당히 낮은 점수를 기록했다.
• 다양한 순위 알고리즘에 대해 안정적인 성능을 유지하며 일관된 결과를 도출함으로써, 이 방법이 공정성 감사에 신뢰할 수 있음을 입증했다.
• 쿼리 접근이 불가능하여 서rogate 모델을 사용한 경우, 모델의 오염으로 성능이 저하되어 직접 블랙박스 쿼리가 유리함을 시사했다.
• 이 방법은 분석가가 모델 결과를 주도하는 특성들을 신속하게 식별할 수 있도록 지원하여, 공정성 향상 조치와 규제 준수를 위한 타겟팅된 조사에 기여한다.