[논문 리뷰] FairGRAPE: Fairness-aware GRAdient Pruning mEthod for Face Attribute Classification

Xiaofeng Lin, Seungbae Kim외 1명|arXiv (Cornell University)|2022. 07. 22.

Face recognition and analysis인용 수 4

한 줄 요약

FairGRAPE는 얼굴 속성 분류를 위한 딥 뉴럴 네트워크에서 그룹별 중요도를 유지하는 공정성 인식 모델 프루닝 방법이다. 인구통계적 하위군 간의 그룹 중요도 상대 분포를 유지하면서 낮은 중요도의 가중치를 반복적으로 제거함으로써, 최신 기술 대비 성능 격차를 최대 90% 감소시킨다. 특히 고조밀도 프루닝 비율(예: 99%)에서 두드러진다.

ABSTRACT

Existing pruning techniques preserve deep neural networks' overall ability to make correct predictions but may also amplify hidden biases during the compression process. We propose a novel pruning method, Fairness-aware GRAdient Pruning mEthod (FairGRAPE), that minimizes the disproportionate impacts of pruning on different sub-groups. Our method calculates the per-group importance of each model weight and selects a subset of weights that maintain the relative between-group total importance in pruning. The proposed method then prunes network edges with small importance values and repeats the procedure by updating importance values. We demonstrate the effectiveness of our method on four different datasets, FairFace, UTKFace, CelebA, and ImageNet, for the tasks of face attribute classification where our method reduces the disparity in performance degradation by up to 90% compared to the state-of-the-art pruning algorithms. Our method is substantially more effective in a setting with a high pruning rate (99%). The code and dataset used in the experiments are available at https://github.com/Bernardo1998/FairGRAPE

연구 동기 및 목표

• 기존 프루닝 방법이 소수자 그룹에 중요한 특징을 비례적으로 더 많이 제거함으로써 인구통계적 하위군 간 정확도 격차를 악화시킨다는 문제를 해결한다.
• 모델 가중치의 각 그룹별 중요도를 고려함으로써 전체 모델 정확도와 공정성을 동시에 유지하는 프루닝 프레임워크를 개발한다.
• 다양한 데이터셋과 고조밀도 수준에서의 강건성을 확보하며, 특히 공정성과 효율성이 핵심인 실생활 모바일 및 웨어러블 애플리케이션에서의 적용에 대비한다.
• 압축된 모델에서의 공정성 문제는 데이터 재균형화만으로는 해결되지 않으며, 프루닝 과정에서 알고리즘적 간섭이 반드시 필요하다는 것을 입증한다.

제안 방법

• 미니배치 평균 손실에서 유도된 $ g_w $ 를 사용하여 각 네트워크 가중치의 그룹별 중요도 점수를 계산한다. 이는 $ I_{w,k} = (g_w w)^2 $ 로 표현된다.
• 인구통계적 하위군(예: 인종, 성별) 당 총 중요도의 상대 분포를 유지하기 위해, 중요도의 크기와 비율을 동시에 최적화하는 엣지를 선택한다.
• 낮은 중요도의 가중치를 반복적으로 제거하면서, 각 프루닝 단계 후에 중요도 점수를 재계산하여 동적 공정성 유지 보장을 한다.
• 속도와 정확도 사이의 최적 균형을 경험적으로 확보한 결과, 중요도 계산에 20%의 훈련 데이터 서브셋을 사용한다.
• 일반화성을 확보하기 위해 여러 아키텍처(예: ResNet-34, MobileNet-V2)와 데이터셋(FairFace, UTKFace, CelebA, ImageNet)에 걸쳐 방법을 적용한다.
• 동일한 설정에서 기준 프루닝 방법(예: SNIP, GraSP, Weight Selection)과 비교함으로써 FairGRAPE의 공정성 기여를 고립적으로 분석한다.

실험 결과

연구 질문

• RQ1 기본 프루닝 방법은 얼굴 속성 분류에서 인구통계적 하위군 간 성능 격차를 어느 정도 악화시키는가?
• RQ2 고조밀도를 달성하면서도 그룹 중요도의 상대 분포를 유지할 수 있는 프루닝 전략을 설계할 수 있는가?
• RQ3 고조밀도 프루닝 비율(예: 99%)에서 FairGRAPE는 최신 기술 대비 공정성과 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 기울기 계산 중 데이터 재균형화는 프루닝 유도 편향을 완화하는가, 아니면 알고리즘적 공정성 간섭이 반드시 필요한가?
• RQ5 프루닝 후 계층별 그룹 중요도 분포는 어떻게 변화하는가? FairGRAPE는 계층 간 균형 잇는 중요도를 유지하는가?

주요 결과

• FairGRAPE는 네 가지 데이터셋에서 최신 기술 대비 인구통계적 하위군 간 성능 저하 격차를 최대 90% 감소시킨다.
• 99% 프루닝 비율에서 FairGRAPE는 소수자 서브셋을 사용할 경우 GraSP($ \rho(\Delta) = 2.31 $)와 SNIP($ \rho(\Delta) = 1.90 $)에 비해 훨씬 낮은 편향($ \rho(\Delta) = 0.78 $)을 유지한다.
• 모든 조밀도 수준에서 가장 높은 정확도와 가장 낮은 공정성 갭을 달성하며, 99% 조밀도에서도 성능 저하가 최소한이다.
• 계층별 분석 결과, FairGRAPE는 성별과 인종 간 균형 잇는 중요도 점수를 유지하는 반면, SNIP 및 Weight Selection과 같은 그룹 무관 방법은 소수자 그룹에 중요한 특징을 비율적으로 더 많이 제거한다.
• 오직 소수자 데이터만을 사용해 기울기를 계산하는 것은 편향을 줄이지 못하고 오히려 증가시킬 수 있으며, 이는 데이터 재균형화만으로는 프루닝에서의 공정성 문제를 해결할 수 없음을 시사한다.
• 중요도 계산에 최적의 훈련 서브셋 크기는 20%이며, 이는 정확도와 계산 효율성 사이의 균형을 잘 맞춘다.