[논문 리뷰] Continual Representation Learning for Biometric Identification

Bo Zhao, Shixiang Tang외 3명|arXiv (Cornell University)|2020. 06. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 74인용 수 6

한 줄 요약

이 논문은 생체 인식에서 새로운 지속적 표현 학습(CRL) 설정을 제안하며, 이전 클래스를 기억하는 것보다는 새로운 신원에 대한 일반화 능력을 향상시키는 데 초점을 맞춘다. 이는 이웃성 선택과 일관성 완화를 활용한 확장 가능한 지식 정착 기법을 제안하여, 대규모 얼굴 인식 및 인물 재식별 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며 일반화 능력과 효율성을 향상시킨다.

ABSTRACT

With the explosion of digital data in recent years, continuously learning new tasks from a stream of data without forgetting previously acquired knowledge has become increasingly important. In this paper, we propose a new continual learning (CL) setting, namely ``continual representation learning'', which focuses on learning better representation in a continuous way. We also provide two large-scale multi-step benchmarks for biometric identification, where the visual appearance of different classes are highly relevant. In contrast to requiring the model to recognize more learned classes, we aim to learn feature representation that can be better generalized to not only previously unseen images but also unseen classes/identities. For the new setting, we propose a novel approach that performs the knowledge distillation over a large number of identities by applying the neighbourhood selection and consistency relaxation strategies to improve scalability and flexibility of the continual learning model. We demonstrate that existing CL methods can improve the representation in the new setting, and our method achieves better results than the competitors.

연구 동기 및 목표

• 스트리밍 데이터에서 온라인으로 학습하는 실생활 생체 인식 시스템에서 기존에 보지 못한 신원에 대한 일반화 능력을 향상시켜야 하는 지속적 학습의 과제를 해결하기 위해.
• 기존 클래스를 기억하는 것보다 새로운 클래스에 대한 일반화 능력을 우선시하는 새로운 지속적 학습 설정인 지속적 표현 학습(CRL)을 제안하기 위해.
• 수천에서 수백만 개의 신원을 포함한 대규모 생체 인식 데이터셋에 적합한 확장 가능하고 유연한 지식 정착 기법을 개발하기 위해.
• 향후 지속적 표현 학습 분야의 연구를 지원하기 위해 얼굴 인식 및 인물 재식별을 위한 두 개의 대규모, 다단계 벤치마크를 구축하기 위해.

제안 방법

• 모델이 스트림 데이터에서 학습하면서 이전 클래스를 기억하는 대신, 새로운 신원에 대한 일반화 능력을 향상시키는 새로운 지속적 표현 학습(CRL) 설정을 제안한다.
• 특징 유사도 기반으로 가장 관련성이 높은 이전 클래스만 선택하여 지식 정착의 계산 비용을 줄이는 이웃성 선택(neighborhood selection, NS)을 도입한다.
• 기존 모델과 새로운 모델의 출력 일관성에 대한 엄격한 제약를 완화함으로써 유연한 정착을 가능하게 하는 일관성 완화(consistency relaxation, CR)를 적용한다.
• 단계 간의 특징 분류 능력과 일반화 능력을 향상시키기 위해 마진 기반 정규화를 포함한 대비 학습 기반 손실을 사용한다.
• 공유된 특징 인코더와 작업별 분류기로 구성된 이중 헤드 네트워크를 활용하여 효율적인 온라인 적응을 가능하게 한다.
• 학습 및 테스트에 사용되는 신원이 상호 배타적인 대규모 벤치마크를 활용하여, 새로운 클래스에 대한 일반화 성능를 평가한다.

실험 결과

연구 질문

• RQ1 생체 인식에서 기존 클래스를 기억하는 것보다 새로운 신원에 대한 일반화 능력을 우선시하는 방식으로 지속적 학습을 어떻게 재정의할 수 있는가?
• RQ2 수천 개의 신원을 포함한 대규모 생체 인식 데이터셋에 지식 정착을 적용할 때 발생하는 주요 확장성 및 효율성 과제는 무엇인가?
• RQ3 이웃성 선택과 일관성 완화는 지속적 표현 학습의 성능와 유연성에 어떻게 기여하는가?
• RQ4 기존의 지속적 학습 방법은 생체 인식 과제에서 얼마나 잘 새로운 신원에 일반화되는가? 그리고 제안된 방법은 이를 어떻게 능가하는가?

주요 결과

• 이웃성 선택과 일관성 완화를 모두 적용한 제안된 방법은 5단계 지속적 인물 재식별 벤치마크에서 Top-1 정확도 61.1%와 mAP 49.5%를 달성하여, 모든 아블레이션 변형 및 경쟁 기법들을 능가한다.
• 이웃성 선택(NS)만 적용해도 Top-1 정확도가 59.1%에서 59.8%로 향상되어, 정착 비용을 줄이되 정확도를 유지하는 데 효과적임을 입증한다.
• 일관성 완화(CR)를 추가로 적용하면 NS와 조합하여 Top-1 정확도를 59.8%에서 61.1%로, mAP를 47.8%에서 49.5%로 향상시켜 성능 향상을 더욱 강화한다.
• 제안된 방법은 하이퍼파라미터 변화에 뛰어나게 강건하며, 최적의 이웃 수 K는 총 이전 클래스의 약 10% (K=200) 이며, 마진 β=10⁻²일 때 최고의 성능를 기록한다.
• LWF, iCaRL, End2End와 같은 기존 방법들과 비교해 볼 때, 모든 이전 클래스에 대한 전체 정착을 피하므로 메모리 및 계산 비용을 수십만 배 이상 감소시켜 훨씬 더 확장 가능한 것으로 확인된다.
• 아블레이션 연구를 통해 NS와 CR 모듈이 각각 독립적으로나 상호 보완적으로 성능 향상에 기여하며, 특히 CR이 일반화 능력 향상에 가장 큰 기여를 한다.