[논문 리뷰] Domain Balancing: Face Recognition on Long-Tailed Domains

Dong Cao, Xiangyu Zhu외 3명|arXiv (Cornell University)|2020. 03. 30.

Face recognition and analysis참고 문헌 40인용 수 9

한 줄 요약

이 논문은 얼굴 인식에서 장기적 도메인 분포 문제를 해결하기 위해 도메인 균형화(Domain Balancing, DB)라는 새로운 프레임워크를 제안한다. 이는 소수의 도메인(헤드 도메인)이 지배하는 반면 많은 희귀 도메인(테일 도메인)이 부족한 상황을 다룬다. 이 방법은 도메인 빈도 지표(DFI)를 사용해 도메인 빈도를 식별하고, 잔차 균형 매핑(RBM) 블록을 통해 네트워크 특징을 적응적으로 조정하며, 손실 함수에 도메인 균형 마진(DBM)을 도입해 테일 도메인 샘플의 가중치를 높인다. 이로 인해 LFW, MegaFace 및 기타 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Long-tailed problem has been an important topic in face recognition task. However, existing methods only concentrate on the long-tailed distribution of classes. Differently, we devote to the long-tailed domain distribution problem, which refers to the fact that a small number of domains frequently appear while other domains far less existing. The key challenge of the problem is that domain labels are too complicated (related to race, age, pose, illumination, etc.) and inaccessible in real applications. In this paper, we propose a novel Domain Balancing (DB) mechanism to handle this problem. Specifically, we first propose a Domain Frequency Indicator (DFI) to judge whether a sample is from head domains or tail domains. Secondly, we formulate a light-weighted Residual Balancing Mapping (RBM) block to balance the domain distribution by adjusting the network according to DFI. Finally, we propose a Domain Balancing Margin (DBM) in the loss function to further optimize the feature space of the tail domains to improve generalization. Extensive analysis and experiments on several face recognition benchmarks demonstrate that the proposed method effectively enhances the generalization capacities and achieves superior performance.

연구 동기 및 목표

• 실세계 얼굴 인식에서 소수의 도메인(예: 백인 남성)이 지배하고 많은 희귀 도메인(예: 어린이, 아프리카 여성)이 부족한 장기적 도메인 분포 문제를 해결하기 위해.
• 실제 응용에서 도메인 레이블에 접근할 수 없어 도메인 빈도 추정에 직접적인 감독이 불가능한 문제를 해결하기 위해.
• 명시적인 도메인 애너테이션을 요구하지 않고도 헤드 도메인과 테일 도메인 간의 표현 학습을 균형 잡아 모델 일반화 능력을 향상시키기 위해.
• 도메인 빈도에 기반한 적응적 네트워크 모odulation과 손실 재가중을 통해 희귀 도메인 성능을 향상시키기 위해.

제안 방법

• 특징 공간 내의 클래스 간 밀도를 이용해 도메인 빈도를 추정하는 도메인 빈도 지표(DFI)를 제안한다. 밀도가 높은 클러스터는 헤드 도메인을, 흩어진 영역은 테일 도메인을 나타낸다.
• DFI에 기반해 특징 표현을 동적으로 조정하는 도메인 강화 브랜치와 소프트 게이트를 갖춘 경량 잔차 균형 매핑(RBM) 블록을 도입한다.
• 손실 함수에 도메인 균형 마진(DBM)을 설계하여 테일 도메인 샘플의 마진을 적응적으로 증가시켜 그들의 분류 학습 능력을 향상시킨다.
• t-SNE 시각화를 통해 헤드 도메인이 밀집된 클러스터를 형성하고 테일 도메인이 흩어져 있음을 확인함으로써 DFI가 도메인 빈도를 식별하는 데 효과적임을 검증한다.
• DFI에서 局부 밀도를 계산하기 위해 K-최근접 이웃 전략을 사용하며, 아블레이션 결과 K=100에서 최적 성능을 얻는다.
• MS-Celeb-1M과 CASIA-Webface에서 ResNet50을 학습하고, DB를 마진 기반 손실 함수(예: ArcFace)에 적용해 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 실세계 환경에서 도메인 레이블에 접근할 수 없을 때, 샘플이 헤드 도메인인지 테일 도메인인지 식별할 수 있는 방법은 무엇인가?
• RQ2 특징 공간 내의 클래스 간 밀도가 장기적 도메인 분포에서 도메인 빈도의 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ3 명시적인 도메인 애너테이션 없이도 빈도가 다른 도메인 간에 특징 학습을 적응적으로 균형 잡을 수 있는가?
• RQ4 손실 함수에 도메인 인식 마진을 도입하면 희귀 도메인에서의 인식 성능 향상이 이루어지는가?

주요 결과

• 제안된 DB 방법은 LFW에서 99.78%의 정확도를 달성하여 ArcFace(99.68%)를 초월하고 새로운 최고 기록을 수립한다.
• 어려운 LFW BLUFR 프로토콜에서 98.91%의 VR@FAR=0.001% 성능을 기록하여 ArcFace(98.77%)를 능가한다.
• MegaFace에서 96.35%의 랭크-1 식별 정확도를 기록하며, ArcFace(95.53%) 대비 0.82% 향상되었다.
• CALFW, CPLFW, AgeDB에서 각각 96.08%, 92.63%, 97.90%의 정확도를 기록했으며, 평균적으로 ArcFace 대비 0.4% 높은 성능을 보였다.
• 아블레이션 연구 결과 DFI의 K=100에서 최적 성능을 얻었고, RBM + DBM 조합이 가장 큰 성능 향상을 이룬다.
• 시각화 결과 헤드 도메인이 밀집된 클러스터를 형성하고 테일 도메인이 흩어져 있음을 확인하여 DFI가 도메인 빈도 식별에 효과적임을 검증한다.