[논문 리뷰] Towards Fair Affective Robotics: Continual Learning for Mitigating Bias in Facial Expression and Action Unit Recognition

Özgür Kara, Nikhil Churamani외 1명|arXiv (Cornell University)|2021. 03. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 6

한 줄 요약

이 논문은 얼굴 표정 및 동작 단위 인식에서 인구 통계적 편향을 완화하기 위한 지속적 학습(Continual Learning, CL)이라는 새로운 전략을 제안하며, RAF-DB 및 BP4D 벤치마크에서 성별 및 인종 분할에 걸쳐 공정성 측면에서 기존의 편향 완화 기법들을 능가하는 CL 기반 방법이 성능을 발휘함을 보여준다. NR 및 EWC 변형이 공정성 점수를 가장 높게 기록했으며, 높은 정확도를 유지함과 동시에 성능을 확보하였다.

ABSTRACT

As affective robots become integral in human life, these agents must be able to fairly evaluate human affective expressions without discriminating against specific demographic groups. Identifying bias in Machine Learning (ML) systems as a critical problem, different approaches have been proposed to mitigate such biases in the models both at data and algorithmic levels. In this work, we propose Continual Learning (CL) as an effective strategy to enhance fairness in Facial Expression Recognition (FER) systems, guarding against biases arising from imbalances in data distributions. We compare different state-of-the-art bias mitigation approaches with CL-based strategies for fairness on expression recognition and Action Unit (AU) detection tasks using popular benchmarks for each; RAF-DB and BP4D. Our experiments show that CL-based methods, on average, outperform popular bias mitigation techniques, strengthening the need for further investigation into CL for the development of fairer FER algorithms.

연구 동기 및 목표

• 학습 데이터의 인구 통계적 불균형으로 인해 발생하는 얼굴 표정 인식(Facial Expression Recognition, FER) 및 동작 단위(AU) 검출에서의 공정성 문제를 해결하기 위해.
• 지속적 학습(CL)이 정서적 로봇공학에서 효과적인 편향 완화 전략이 될 수 있는지 탐구하기 위해.
• 표준 벤치마크에서 CL 기반 접근법과 최신 비-CL 편향 완화 기법을 비교하기 위해.
• 성별 및 인종과 같은 인구 통계적 분할에서 정확도와 공정성 간의 상호 교환 관계를 평가하기 위해.
• 장기적인 인간-로봇 상호작용(HRI) 환경에서 CL 기반 FER 시스템의 구현 가능성을 탐색하기 위해.

제안 방법

• 저자들은 여러 CL 프레임워크를 구현하고 비교함: 탄성 가중치 통합(Elastic Weight Consolidation, EWC), 시냅스 지능(Synaptic Intelligence, SI), 메모리 인지 시냅스(Memory Aware Synapses, MAS), 그리고 난이도 높은 재현(_naive rehearsal_, NR).
• 이 CL 방법들을 RAF-DB 및 BP4D 데이터셋을 사용한 FER 및 AU 검출 작업에 적용하며, 성별 및 인종 기반 도메인 증강 학습(Domain-Incremental Learning, Domain-IL) 설정을 사용함.
• CL 모델은 인구 통계적 집단별로 순차적으로 학습되며, 치명적 망각을 방지하기 위해 정규화 또는 재현 메커니즘을 적용함.
• 비교를 위해 기준 모델 및 비-CL 편향 완화 기법(DDC, DIC, DA, SS 등)을 사용함. 손실 가중치 및 도메인 분리 전략을 포함함.
• 공정성은 분할별로 평가되며, 각 인구 통계적 집단(예: 성별, 인종)에 대해 계산된 지표를 도메인 간 평균화함.
• 정규화 및 비정규화 설정을 모두 포함한 실험을 통해 강인성과 일반화 능력을 평가함.

실험 결과

연구 질문

• RQ1 지속적 학습이 다양한 인구 통계 집단에서 얼굴 표정 인식 및 동작 단위 검출의 편향을 효과적으로 완화할 수 있는가?
• RQ2 CL 기반 방법의 공정성 성능는 최신 비-CL 편향 완화 기법과 비교해 어떻게 되는가?
• RQ3 다양한 CL 전략을 사용할 경우 정확도와 공정성 간의 상호 교환 관계는 어떠한가?
• RQ4 정규화 기반 CL 방법과 재현 기반 방법(예: NR) 간의 공정성 및 정확도는 어떻게 비교되는가?
• RQ5 CL 기반 모델은 실제 HRI 환경에서 장기적이고 증분적인 학습 시나리오 동안 성능을 유지할 수 있는가?

주요 결과

• NR(나이브 재현) 방법이 RAF-DB 및 BP4D 양쪽 모두에서 가장 높은 공정성 점수를 기록했으며, 특히 인종 분할에서 유의미한 성과를 보였지만, 높은 메모리 사용량을 수반함.
• EWC 및 EWC-Online은 강력한 공정성 성능를 보였으며, EWC-Online은 성별 분할에서 두 번째로 높은 공정성 점수(0.994)와 인종 분할에서 두 번째로 높은 점수(0.957)를 기록함.
• DA(분리 기반 접근법) 방법은 일관되게 높은 공정성 점수를 기록했으며, 대부분의 카테고리에서 두 번째로 높은 순위를 차지했고, 특히 인종 분할에서 뛰어난 성능(0.962)을 보임.
• 비-CL 편향 완화 기법인 DDC 및 DIC는 높은 공정성 성능를 기록했지만, CL 기반 방법에 비해 정확도가 낮았으며, 이는 공정성과 성능 간의 상호 교환 관계를 시사함.
• CL 기반 방법, 특히 EWC 및 NR은 성별 및 인종 분할 모두에서 비-CL 방법보다 공정성 측면에서 뛰어난 성능를 보였으며, 데이터 분포 불균형을 다루는 데서의 우수성을 입증함.
• 결과는 CL 기반 접근법이 전통적인 데이터 수준 또는 알고리즘 수준의 편향 완화 기법보다 인구 통계 집단 간 학습 균형을 더 효과적으로 달성함을 시사한다.