[논문 리뷰] Fair Multi-Exit Framework for Facial Attribute Classification

Ching-Hao Chiu, Hao‐Wei Chung외 3명|arXiv (Cornell University)|2023. 01. 08.

Face recognition and analysis인용 수 6

한 줄 요약

이 논문은 얼굴 속성 분류를 위한 정의 중심의 다중 출구 프레임워크를 제안하며, 얕은 네트워크 레이어에서의 조기 퇴출을 통해 정확도를 희생시키지 않고도 정의를 향상시킵니다. 내부 분류기들을 정확도와 정의를 동시에 최적화하는 목적함수로 훈련하고, 신뢰도 기반의 조기 퇴출 정책을 사용함으로써, CelebA 및 UTK Face 데이터셋에서 최상의 정확도-정의 트레이드오프를 달성합니다.

ABSTRACT

Fairness has become increasingly pivotal in facial recognition. Without bias mitigation, deploying unfair AI would harm the interest of the underprivileged population. In this paper, we observe that though the higher accuracy that features from the deeper layer of a neural networks generally offer, fairness conditions deteriorate as we extract features from deeper layers. This phenomenon motivates us to extend the concept of multi-exit framework. Unlike existing works mainly focusing on accuracy, our multi-exit framework is fairness-oriented, where the internal classifiers are trained to be more accurate and fairer. During inference, any instance with high confidence from an internal classifier is allowed to exit early. Moreover, our framework can be applied to most existing fairness-aware frameworks. Experiment results show that the proposed framework can largely improve the fairness condition over the state-of-the-art in CelebA and UTK Face datasets.

연구 동기 및 목표

• 신경망의 더 깊은 레이어에서 특징을 추출할수록 정확도는 높아지지만 정의가 악화되는 이면적인 관찰을 조사하기 위해.
• 각 내부 분류기에서 정의 제약 조건을 적용하는 다중 출구 훈련 프레임워크를 도입하여 얼굴 속성 분류에서의 정의-정확도 트레이드오프를 해결하기 위해.
• 기존의 정의 인식 모델에 쉽게 통합할 수 있는 유연하고 확장 가능한 프레임워크를 개발하기 위해.
• 신뢰도 기반의 조기 퇰출 정책이 각 테스트 인스턴스에 대해 최적의 예측을 선택하여 정의와 정확도를 균형 잡는 데 어떤 영향을 미치는지 검증하기 위해.

제안 방법

• 프레임워크는 다중 출구 네트워크를 확장하여 각 내부 분류기(IC)를 목표 속성 정확도와 정의(등가된 기회 측정)를 동시에 최적화하는 병합 손실 함수로 훈련합니다.
• 각 내부 분류기는 목표 속성에 대한 분류 손실과 민감한 속성(예: 성별, 인종)에 대한 편향을 줄이는 정의 손실을 최소화하도록 훈련됩니다.
• 추론 과정에서는 모델이 신뢰도 기반의 조기 퇴출 정책을 사용하여 임계값을 초과하는 첫 번째 내부 분류기의 예측을 선택함으로써 계산 비용을 줄이고 정의를 향상시킵니다.
• 기존의 정의 인식 모델(예: MFD, FSCL+, 기타)과의 통합이 가능하도록 플러그 앤 플레이 방식으로 설계되었습니다.
• ResNet 백본의 여러 잔차 블록(예: Conv2_x부터 Conv5_x까지)의 특징 표현을 활용하며, 각 블록이 잠재적인 퇴출 지점으로 기능합니다.
• 제거 분석 결과, 모든 퇴출 지점에 정의 제약 조건을 적용함으로써 깊은 레이어에서 관찰되는 정의 악화를 방지할 수 있으며, 정확도 향상과 함께 정의가 유지됨을 확인했습니다.

실험 결과

연구 질문

• RQ1 신경망의 더 깊은 레이어에서 특징을 추출할수록 정확도는 높아지지만 정의가 악화되는 현상이 발생하는가?
• RQ2 정의 인식 내부 분류기를 갖춘 다중 출구 훈련 프레임워크가 깊은 레이어에서 관찰되는 정의 악화를 완화할 수 있는가?
• RQ3 신뢰도 기반의 조기 퇴출 정책은 최종 레이어만 사용하는 것과 비교해 정의-정확도 트레이드오프에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크는 기존의 정의 인식 모델과 효과적으로 통합되어 정의를 향상시키면서 정확도를 떨어뜨리지 않을 수 있는가?

주요 결과

• CelebA 및 UTK Face 데이터셋에서 제안된 프레임워크는 최종 레이어 분류기 대비 등가된 기회(EO)를 74.5% 감소시켰으며, 평균 정확도 저하율은 1.7% 미만이었습니다.
• UTK Face 데이터셋에서 제안된 프레임워크는 최신 기술 대비 평균 11.3%의 정의 향상을 이룩했으며, 경쟁 가능한 정확도를 유지했습니다.
• ME-MFD 분석에서 다중 출구 프레임워크는 표준 MFD 대비 평균 27%의 EO 감소와 1%의 정확도 향상을 달성했습니다.
• 조기 퇴출 정책은 각 인스턴스에 최적의 퇴출 지점을 선택하여 평균 27%의 EO 향상을 이끌었으며, 높은 정확도를 유지함으로써 인스턴스별 퇴출 선택의 효과성을 입증했습니다.
• 프레임워크는 모든 베이스라인 및 최신 기술 대비 정의-정확도 트레이드오프 측면에서 최고의 성능을 보였으며, CelebA 및 UTK Face 양쪽 데이터셋에서 최고의 성능을 달성했습니다.
• 제거 분석을 통해 MMD 기반의 정의 정규화를 적용하더라도 깊은 레이어에서 정의가 악화되는 것을 확인했지만, 다중 출구 프레임워크는 모든 퇴출 지점에서 정의를 성공적으로 유지함을 입증했습니다.