[논문 리뷰] Investigating Bias in Image Classification using Model Explanations

Schrasing Tong, Lalana Kagal|arXiv (Cornell University)|2020. 12. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 13인용 수 8

한 줄 요약

이 논문은 민감한 속성 정보를 명시적으로 제공받지 않고도 모델 설명(특히 Grad-CAM 및 TCAV)이 이미지 분류에서 편향을 효과적으로 탐지할 수 있는지 조사한다. 연구 결과, 강한 편향이 있는 모델에서는 설명이 편향된 특징을 강조할 수 있지만, 편향 정도를 정확히 추정하지 못하고, 새로운 편향을 유발할 수 있으며, 인간의 상당한 노력이 수반되어 공정성 평가에 있어서 실용적 유용성이 제한됨을 발견하였다.

ABSTRACT

We evaluated whether model explanations could efficiently detect bias in image classification by highlighting discriminating features, thereby removing the reliance on sensitive attributes for fairness calculations. To this end, we formulated important characteristics for bias detection and observed how explanations change as the degree of bias in models change. The paper identifies strengths and best practices for detecting bias using explanations, as well as three main weaknesses: explanations poorly estimate the degree of bias, could potentially introduce additional bias into the analysis, and are sometimes inefficient in terms of human effort involved.

연구 동기 및 목표

• 민감한 속성 레이블이 제공되지 않은 상태에서 모델 설명이 이미지 분류에서 편향을 효율적으로 탐지할 수 있는지 평가하기.
• Grad-CAM 및 TCAV가 편향으로 인한 실제 성능 격차를 얼마나 신뢰성 있고 충실도 있게 반영하는지 평가하기.
• 실제 도입 환경에서 편향 탐지에 설명을 사용할 때의 강점, 약점 및 최선의 실천 방법을 규명하기.
• 기존 수동 감사 및 공정성 메트릭스와 비교해 설명 기반 편향 탐지의 효율성과 정확도를 평가하기.
• 훈련 데이터 구성에서 편향 수준이 변화함에 따라 모델 행동의 변화를 설명이 얼마나 견고하게 반영하는지 조사하기.

제안 방법

• 성별 및 인종 속성을 통제한 두 가지 균형 잡힌 세밀한 레이블이 부여된 데이터셋(의사 대 비만, 농구 선수 대 배구 선수)을 정제하여 준비함.
• 강한 편향에서 최소 편향에 이르기까지 다양한 수준의 편향을 시뮬레이션하기 위해 훈련 데이터 구성 요소를 체계적으로 변화시킴.
• 다양한 편향 수준으로 훈련된 모델에 대해 Grad-CAM 및 TCAV를 적용하여 설명을 생성하고, 편향 수준 변화에 따른 설명 패턴의 변화를 분석함.
• 민감한 속성 레이블에 의존하지 않고도 불공정성을 정량화할 수 있도록 운영 공정성 메트릭스(예: M4, 서브그룹 성능 격차)를 정의함.
• 해석 가능성과 필요로 하는 인간의 노력 수준을 평가하기 위해 인간 평가를 수행하고, 수동 감사와 비교함.
• 특징 선택이 편향 복제에 미치는 영향을 분석하기 위해 TCAV의 개념 선택(특히 '성별' 또는 '인종' 등)을 특히 검토함.

실험 결과

연구 질문

• RQ1 민감한 속성 정보에 대한 명시적 접근 없이 Grad-CAM 및 TCAV가 이미지 분류 모델의 편향 존재 여부를 신뢰성 있게 탐지할 수 있는가?
• RQ2 설명이 다양한 서브그룹 간 불공정성 또는 성능 격차의 정도를 얼마나 정확히 추정하는가?
• RQ3 설명 메커니즘이 개념 선택이나 선명도 맵핑을 통해 새로운 편향을 얼마나 유발하는가?
• RQ4 설명을 해석하기 위해 필요한 인간의 노력이 세밀한 레이블이 부여된 감사 데이터셋을 준비하는 것과 유사하거나 그보다 적은가?
• RQ5 훈련 데이터의 편향 수준이 변화함에 따라 모델 행동의 변화를 설명이 견고하게 반영하는가?

주요 결과

• Grad-CAM 및 TCAV의 설명은 강한 편향이 있는 모델에서는 편향된 특징을 강조할 수 있지만, 상대적으로 편향이 적은 모델에서도 유사한 패턴을 생성하여 실제 편향 수준을 추정하기 어려움.
• TCAV 점수는 3:1 및 1:3 편향 설정에서 불공정성과 높은 상관관계를 보였음(예: M4 점수 37.5% 및 32.5%), 그러나 모든 편향 수준에서 성능 격차를 일관되게 반영하지 못함.
• 설명을 해석하기 위해 필요한 인간의 노력은 세밀한 레이블이 부여된 감사 데이터셋을 준비하는 것과 유사했으며, 특히 다중 속성 탐지가 필요한 경우 더욱 높아짐.
• TCAV의 개념 중 '성별'은 암묵적으로 인종을 포함시켜(예: 백인의 비율이 높음) 혼동 요인을 유발하며, 분석에 추가적인 편향을 유도함.
• Grad-CAM 설명은 민감한 속성과 직접적인 관련이 없는 비차별적 특징(예: 안경, 유니폼 번호)을 강조할 수 있었지만, 이는 편향의 지표로 잘못 해석될 수 있었음.
• 설명이 수동 감사보다 유의미한 효율성 우위를 보이지 않았으며, 일부 경우에서는 신뢰성과 일관성 문제로 인해 수동 감사보다 더 신뢰할 수 없음.