[논문 리뷰] Improving Fairness in Image Classification via Sketching

Ruichen Yao, Ziteng Cui외 2명|arXiv (Cornell University)|2022. 10. 31.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 입력 이미지를 스케치로 변환하는 새로운 사전 처리 기법을 제안하여 이미지 분류의 공정성을 향상시킨다. 이 방식은 피부 색소 및 질감과 같은 편향을 유도하는 특징을 자연스럽게 제거하면서도 의미 정보를 유지한다. CLIP 유도 스케치 모델과 공정성 손실을 조합함으로써, 정확도 저하를 최소화하면서도 여러 데이터셋에서 최신 기준 수준의 공정성 향상을 달성한다.

ABSTRACT

Fairness is a fundamental requirement for trustworthy and human-centered Artificial Intelligence (AI) system. However, deep neural networks (DNNs) tend to make unfair predictions when the training data are collected from different sub-populations with different attributes (i.e. color, sex, age), leading to biased DNN predictions. We notice that such a troubling phenomenon is often caused by data itself, which means that bias information is encoded to the DNN along with the useful information (i.e. class information, semantic information). Therefore, we propose to use sketching to handle this phenomenon. Without losing the utility of data, we explore the image-to-sketching methods that can maintain useful semantic information for the target classification while filtering out the useless bias information. In addition, we design a fair loss to further improve the model fairness. We evaluate our method through extensive experiments on both general scene dataset and medical scene dataset. Our results show that the desired image-to-sketching method improves model fairness and achieves satisfactory results among state-of-the-art.

연구 동기 및 목표

• 편향된 훈련 데이터로 인해 발생하는 딥 네ural 네트워크의 공정성 문제를 해결하기 위해, 특히 피부 색소, 성별, 연령과 같은 속성에서 발생하는 문제를 다루는 것.
• 이미지 스케치가 색소 및 질감과 같은 특징을 제거함으로써 편향을 유도하는 시각적 특징을 효과적으로 제거하면서도 분류에 필요한 의미 정보를 유지할 수 있는지 탐색하는 것.
• 모델 아키텍처나 추론 과정을 수정하지 않고도 공정성을 향상시키는 단순하면서도 효과적인 사전 처리 파이프라인을 개발하는 것.
• 일반 이미지 데이터셋과 의료 영상 데이터셋 모두에서 스케치와 공정성 손실을 조합한 성능을 평가하는 것.
• 스케치가 정확도 저하를 최소화하면서도 최신 기준 수준의 공정성 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• 이 방법은 입력 이미지를 스케치로 변환하는 CLIP 유도 이미지-스케치 모델을 사용하여, 피부 색소 및 질감 정보를 제거하면서도 의미 정보와 클래스 관련 특징을 유지한다.
• 스케치 이미지는 표준 분류 모델에 입력되며, 정확도를 유지하기 위해 교차 엔트로피 분류 손실로 훈련된다.
• 편향을 추가로 줄이기 위해 공정성 손실 항목을 도입하며, 총 손실은 분류 손실과 공정성 손실의 가중 합으로 구성된다.
• 공정성 손실은 성별, 피부 톤, 연령과 같은 다양한 민감한 속성 간의 모델 예측 격차를 최소화하도록 설계된다.
• 스케치 파이프라인은 훈련 중에 오프라인으로 적용되어 추론 단계에 영향을 주지 않는 사전 처리 기법이 된다.
• 표준 공정성 메트릭을 사용하여 평가되며, 이는 통계적 평등성 차이(Statistical Parity Difference, SPD), 동등 기회 차이(Equal Opportunity Difference, EOD), 등가된 오즈의 차이(Difference in Equalized Odds, DEO), 평균 오즈 차이(Average Odds Difference, AOD)를 포함한다.

실험 결과

연구 질문

• RQ1 스케치 기반 이미지 전처리가 피부 색소나 질감과 같은 속성 특화 시각적 신호를 제거함으로써 이미지 분류 모델의 편향을 효과적으로 줄일 수 있는가?
• RQ2 스케치 기반 전처리가 편향 감소를 위해 충분한 의미 정보와 클래스 관련 정보를 유지하면서도 높은 분류 정확도를 유지할 수 있는가?
• RQ3 스케치와 공정성 손실을 조합한 방법이 기존의 공정성 기법 대비 공정성 메트릭과 정확도 측면에서 어떻게 비교되는가?
• RQ4 이 방법이 일반 영상 데이터셋(예: CelebA)과 의료 영상 데이터셋(예: ISIC)을 포함한 다양한 데이터셋에 일반화 가능한가?
• RQ5 공정성 손실을 추가함으로써 정확도 저하 없이 공정성 성능을 추가로 향상시킬 수 있는가?

주요 결과

• 성별을 민감한 속성으로 삼은 CelebA 데이터셋에서, 이 방법은 원본의 SPD 0.0707을 스케치 및 공정성 손실 적용 후 0.0333으로 감소시켜 뚜렷한 공정성 향상을 보였다.
• CelebA에서 피부 색소 편향에 대해, SPD는 0.0707에서 0.0333으로, DEO는 0.0916에서 0.0564로 감소하여 강력한 편향 완화 효과를 입증했다.
• ISIC 데이터셋에서 연령 관련 편향에 대해 SPD는 원본 0.246에서 0.223으로 감소했고, 피부 톤 편향에 대해서는 0.134에서 0.144로 약간 증가했지만 EOD와 AOD 메트릭에서 공정성 향상을 보였다.
• 특히 성별 편향의 SPD 감소 측면에서 기존 최신 기준 공정성 기법(Fair Training + FAA)에 비해 경쟁력 있거나 뛰어난 공정성 성능을 달성했다.
• 공정성 손실 사용 시 약간의 정확도 저하가 있었지만, 전체 성능은 유지되었으며, 모든 민감한 속성에서 F1 점수와 정밀도의 저하가 최소한이었다.
• 결과적으로 스케치가 다양한 이미지 분류 작업에서 공정성 향상에 효과적인 사전 처리 기법임을 확인했으며, 특히 공정성 손실과 조합할 경우 더욱 뛰어난 성능을 발휘한다.