[논문 리뷰] Disentanglement for Discriminative Visual Recognition

Xiaofeng Liu|arXiv (Cornell University)|2020. 06. 14.

Face and Expression Recognition참고 문헌 88인용 수 4

한 줄 요약

이 논문은 시각적 인식에서 신원에 불변하는 특징과 자세, 조명, 표정과 같은 작업에 무관한 변형을 명시적으로 분리하는 디스엔트angled 프레임워크를 제안한다. 깊이 있는 거리 학습과 적대적 훈련을 통합한 이중 브랜치 네트워크를 사용하여, 신원에 불변하는 특징을 강화함으로써 얼굴 표정 인식, 가면을 쓴 얼굴 인식, 속성 예측 등에서 최신 기술 수준의 성능을 달성한다. 이는 의미적 및 잠재적 변형에 대한 불변성을 확보함으로써 달성된다.

ABSTRACT

Recent successes of deep learning-based recognition rely on maintaining the content related to the main-task label. However, how to explicitly dispel the noisy signals for better generalization in a controllable manner remains an open issue. For instance, various factors such as identity-specific attributes, pose, illumination and expression affect the appearance of face images. Disentangling the identity-specific factors is potentially beneficial for facial expression recognition (FER). This chapter systematically summarize the detrimental factors as task-relevant/irrelevant semantic variations and unspecified latent variation. In this chapter, these problems are casted as either a deep metric learning problem or an adversarial minimax game in the latent space. For the former choice, a generalized adaptive (N+M)-tuplet clusters loss function together with the identity-aware hard-negative mining and online positive mining scheme can be used for identity-invariant FER. The better FER performance can be achieved by combining the deep metric loss and softmax loss in a unified two fully connected layer branches framework via joint optimization. For the latter solution, it is possible to equipping an end-to-end conditional adversarial network with the ability to decompose an input sample into three complementary parts. The discriminative representation inherits the desired invariance property guided by prior knowledge of the task, which is marginal independent to the task-relevant/irrelevant semantic and latent variations. The framework achieves top performance on a serial of tasks, including lighting, makeup, disguise-tolerant face recognition and facial attributes recognition. This chapter systematically summarize the popular and practical solution for disentanglement to achieve more discriminative visual recognition.

연구 동기 및 목표

• 시각적 인식에서 일반화 성능을 떨어뜨리는 노이즈가 많은 작업에 무관한 변형(예: 조명, 자세, 표정) 문제를 다루기 위해.
• 딥 레이어 표현에서 신원 특징과 관련된 속성들을 분리할 수 있는 제어 가능한 방법을 개발하기 위해.
• 의미적 및 잠재적 변형에 대한 불변성을 강제함으로써 얼굴 표정 인식(Facial Expression Recognition, FER) 및 관련 작업의 성능을 향상시키기 위해.
• 디스엔트angled 표현의 엔드 투 엔드 최적화를 위한 메트릭 학습과 적대적 훈련을 통합하기 위해.

제안 방법

• 일반화된 적응형 (N+M)-튜플릿 클러스터링 손실 함수를 사용하여 디스엔트angled를 깊이 있는 거리 학습 문제로 재구성한다.
• 메트릭 공간 내 특징의 구별 능력을 향상시키기 위해 신원 인식 하드 네거티브 마이닝 및 온라인 포지티브 마이닝을 도입한다.
• 더 나은 표현 학습을 위해 소프트맥스 손실과 메트릭 손실을 동시에 최적화하기 위해 이중 브랜치 완전 연결 네트워크 아키텍처를 사용한다.
• 조건부 적대적 신경망을 사용하여 입력 이미지를 세 가지 상호 보완적인 구성요소로 분해한다: 분리된 분류용 특징, 작업에 관련된 변형, 무관한 변형.
• 적대적 훈련을 통해 분류용 표현과 작업에 무관한 의미적/잠재적 변형 간의 국소 독립성을 강제한다.
• 작업에 대한 사전 지식을 활용하여 디스엔트angled 과정을 안내함으로써 비신원 요소에 대한 불변성을 확보한다.

실험 결과

연구 질문

• RQ1 어떻게 디스엔트angled 기법을 효과적으로 적용하여 분류용 시각적 인식 작업의 일반화 성능을 향상시킬 수 있는가?
• RQ2 조명과 표정과 같은 작업에 무관한 변형을 명시적으로 제거함으로써 얼굴 표정 인식 성능에 어떤 영향을 미치는가?
• RQ3 메트릭 학습과 적대적 훈련을 통합한 통합 프레임워크가 개별적으로 사용할 경우보다 더 나은 디스엔트angled 성능을 달성할 수 있는가?
• RQ4 분류용 특징와 무관한 변형 간의 국소 독립성을 강제함으로써 가면 착용 상황이나 환경 변화에 대한 강건성은 어떻게 향상되는가?
• RQ5 디스엔트angled 표현은 얼굴 인식 및 속성 예측과 같은 다양한 시각적 인식 작업으로 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 조명 변화와 표정 변화가 심한 조건에서도 얼굴 표정 인식에서 최신 기술 수준의 성능을 달성한다.
• 이중 브랜치 네트워크에서 메트릭 손실과 소프트맥스 손실을 조합함으로써 특징의 구별 능력과 인식 정확도가 크게 향상된다.
• 적대적 디스엔트angled 프레임워크는 신원에 불변하는 특징을 성공적으로 분리하여 가면에 강건한 얼굴 인식에서 최고 성능을 기록한다.
• 적대적 훈련을 통해 자세와 표정과 같은 미지의 잠재적 변형에 대해 불변성을 확보함으로써 모델은 강건한 성능을 보인다.
• 이 프레임워크는 얼굴 속성 인식 및 조명에 강건한 얼굴 인식 등 다양한 작업으로 잘 일반화되며, 기준 모델들을 능가한다.