[논문 리뷰] Attribute Adaptive Margin Softmax Loss using Privileged Information

Seyed Mehdi Iranmanesh, Ali Dabouei외 1명|arXiv (Cornell University)|2020. 09. 04.

Face recognition and analysis참고 문헌 37인용 수 8

한 줄 요약

이 논문은 딥 메트릭 학습에서 소프트 생체 특징(예: 성별, 머리카락 색상)을 학습 중에만 이용 가능한 특수 정보로 활용하여 클래스 간 거리를 동적으로 조정하는 새로운 손실 함수인 속성 적응형 마진 소프트맥스 손실(ATAM)을 제안한다. 속성 기반으로 적응형 마진을 학습함으로써 특징의 분류 능력을 향상시키고, 클래스 불균형 문제를 완화하며, 아키텍처 변경을 최소화하면서도 얼굴 인식 및 개인 재식별에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a novel framework to exploit privileged information for recognition which is provided only during the training phase. Here, we focus on recognition task where images are provided as the main view and soft biometric traits (attributes) are provided as the privileged data (only available during training phase). We demonstrate that more discriminative feature space can be learned by enforcing a deep network to adjust adaptive margins between classes utilizing attributes. This tight constraint also effectively reduces the class imbalance inherent in the local data neighborhood, thus carving more balanced class boundaries locally and using feature space more efficiently. Extensive experiments are performed on five different datasets and the results show the superiority of our method compared to the state-of-the-art models in both tasks of face recognition and person re-identification.

연구 동기 및 목표

• 인식 작업을 위한 딥 메트릭 학습에서 발생하는 클래스 불균형 문제와 분류 능력의 한계를 해결한다.
• 학습 중에만 이용 가능한 소프트 생체 특징(예: 성별, 머리카락 색상)을 특수 정보로 활용하여 특징 학습을 향상시킨다.
• 고정된 마진을 사용하는 대신, 속성 정보를 기반으로 클래스별로 적응형 마진을 학습하는 손실 함수를 개발한다.
• 특히 소수의 클래스나 높은 시각적 변동성이 있는 클래스에 대해 닫힌 집합 및 열린 집합 인식 프로토콜 모두에서 성능을 향상시킨다.
• 추가 손실 함수나 추론 시 속성 정보가 필요하지 않은 불균형 데이터셋에서의 방법의 효과성을 입증한다.

제안 방법

• 속성 임bedding 기반으로 마진 $ m $ 를 적응적이고 학습 가능한 방식으로 조정하는 새로운 손실 함수인 속성 적응형 마진 소프트맥스 손실(ATAM)을 도입한다.
• 학습 중에 속성 임베딩에서 클래스별 마진을 예측하기 위해 다중 작업 헤드를 사용하여, 네트워크가 어느 클래스가 더 큰 또는 더 작은 마진이 필요한지 학습하도록 한다.
• 교차 엔트로피 손실을 사용하여 특징 임베딩과 적응형 마진 예측을 동시에 최적화하기 위해 네트워크를 엔드 투 엔드로 훈련한다.
• 보조 손실 함수 없이도 표준 CNN 백본(예: ResNet-50)과 다중 해상도 네트워크(예: MGN)에 ATAM 손실을 통합한다.
• 속성 정보는 학습 중에만 사용되며, 표준 추론 파이프라인을 유지한다.
• 표준 평가 프로토콜과 지표를 사용하여 얼굴 인식 및 개인 재식별 작업 모두에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 학습 중에만 이용 가능한 특수 속성 정보가 특징의 분류 능력을 향상시키는 데 기여하는가?
• RQ2 속성을 기반으로 클래스별로 적응형 마진을 학습하는 것이 고정 마진 방법에 비해 일반화 능력 향상과 내부 클래스 분산 감소에 기여하는가?
• RQ3 소수의 클래스가 높은 시각적 변동성을 보이는 불균형 데이터셋에서 제안된 ATAM 손실의 성능은 어떠한가?
• RQ4 추론 시 속성 정보가 필요 없고 추가 손실 함수 없이도 ATAM이 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 적응형 마진 사용이 열린 집합 인식 시나리오에서 성능 향상에 얼마나 기여하는가?

주요 결과

• MGN + ATAM 모델은 DukeMTMC-reID에서 97.1% R-1 및 88.3% mAP를 기록하여, 여러 손실 함수를 사용하는 최신 기술 수준의 방법들을 초월했다.
• Market-1501에서 MGN + ATAM 모델은 95.1% R-1 및 86.5% mAP를 달성하여, 동일한 백본을 사용하는 AMSoftmax 및 CircleLoss를 적용한 모델들을 능가했다.
• 단일 손실 함수만을 사용하여 Market-1501에서 95.1% R-1 및 86.5% mAP를 달성하여, 보조 손실 없이도 뛰어난 성능을 입증했다.
• ATAM은 학습 및 추론 모두에서 속성을 사용하는 APR 및 AANet-50와 같은 방법들을 능가하여, 학습 중에만 사용되는 특수 정보의 효과성을 입증했다.
• 적응형 마진 메커니즘이 내부 클래스 분산을 효과적으로 감소시키고, 특히 소수의 클래스나 높은 변동성이 있는 클래스의 국소 클래스 경계 균형을 향상시켰다.
• 다양한 다섯 개의 데이터셋에서 실시한 광범위한 추상화 분석을 통해 속성 기반 마진 적응 기법이 특징의 분류 능력과 일반화 능력을 크게 향상시켰다는 것이 확인되었다.