[논문 리뷰] What will it take to generate fairness-preserving explanations?

Jessica Dai, Sohini Upadhyay외 2명|arXiv (Cornell University)|2021. 06. 24.

Explainable Artificial Intelligence (XAI)참고 문헌 20인용 수 6

한 줄 요약

이 논문은 기존의 블랙박스 모델 해석 방법이 공정성 성질을 자주 유지하지 못해, 모델이 편향되어 있음에도 불구하고 오해를 불러일으킬 수 있음을 주장한다. 이는 블랙박스 모델의 공정성 행동을 더 잘 반영하는 해석을 생성하기 위해 공정성 페널티 항을 포함한 수정된 LIME 목적함수를 제안한다. 실험을 통해 이 방법이 블랙박스와 그 해석 간의 공정성 불일치를 줄임을 입증한다.

ABSTRACT

In situations where explanations of black-box models may be useful, the fairness of the black-box is also often a relevant concern. However, the link between the fairness of the black-box model and the behavior of explanations for the black-box is unclear. We focus on explanations applied to tabular datasets, suggesting that explanations do not necessarily preserve the fairness properties of the black-box algorithm. In other words, explanation algorithms can ignore or obscure critical relevant properties, creating incorrect or misleading explanations. More broadly, we propose future research directions for evaluating and generating explanations such that they are informative and relevant from a fairness perspective.

연구 동기 및 목표

• 현재의 해석 방법이 블랙박스 모델의 공정성 성질을 유지하는지 여부를 조사하기 위해.
• 기존의 해석 기법이 모델 결정의 공정성 관련 행동을 은폐하거나 잘못 표현할 수 있는 방식을 규명하기 위해.
• 충실도와 공정성을 모두 만족하는 해석을 평가하고 생성하기 위한 프레임워크를 제안하기 위해.
• 해석 방법의 핵심 평가 기준으로 공정성을 통합하는 데 대한 넓은 논의를 시작하기 위해.

제안 방법

• 충실도 및 복잡도 항 외에 공정성 유지 항 ψ(f,g)를 포함한 수정된 LIME 목적함수를 제안한다.
• 블랙박스의 공정성 행동과 일치하는 해석을 장려하기 위해 LIME 최적화에 공정성 페널티 항 λ₂ψ(f,g)를 통합한다.
• 공정성 지표로 인구집단의 평등성(DP)을 사용하여 그룹 간 양성 예측 비율의 차이를 측정한다.
• COMPAS 데이터셋에서 딥 네ural 네트워크 블랙박스에 대해 수정된 목적함수를 적용하여 공정성 유지 해석을 생성한다.
• 해석의 점근적 행동을 평가하기 위해 LIME의 편향 수를 다양하게 조정한다.
• 블랙박스와 해석 모델 간의 공정성 불일치를 |DP(f(x)) − DP(E_f(x))|로 평가하여 입력별로 블랙박스와 해석 모델의 공정성 수준을 비교한다.

실험 결과

연구 질문

• RQ1 표준 해석 방법들인 LIME과 같은 방법들이 블랙박스 모델의 공정성 성질을 유지할 수 있는가?
• RQ2 왜곡의 의도가 없더라도 해석 방법이 모델 결정의 편향을 얼마나 은폐하거나 잘못 표현할 수 있는가?
• RQ3 어떻게 공정성이 해석 생성의 목적함수에 공식적으로 통합될 수 있는가?
• RQ4 편향 수를 늘일 경우, 블랙박스와 해석 모델 간의 공정성 불일치에 어떤 영향을 미치는가?

주요 결과

• 충실도가 높더라도 표준 LIME으로 생성된 해석은 블랙박스 모델과 상당한 공정성 불일치를 보일 수 있다.
• 공정성 페널티 항이 포함된 수정된 LIME 목적함수는 COMPAS 데이터셋 전반에서 평균 공정성 불일치를 감소시킨다.
• 편향 수가 증가함에 따라 표준 LIME 해석의 공정성 불일치는 점차 감소하며 안정성이 향상됨을 보여준다.
• 공정성 유지 접근법은 블랙박스의 인구집단 평등성과 해석 모델의 인구집단 평등성 간 격차를 성공적으로 줄였다.
• 결과는 공정성 인식 해석 생성이 가능하며, 핵심 평가 기준으로서의 추가 연구가 필요하다는 것을 시사한다.