[논문 리뷰] Pairwise Relational Networks for Face Recognition

Bong-Nam Kang, Yonghyun Kim외 1명|arXiv (Cornell University)|2018. 08. 15.

Face recognition and analysis참고 문헌 31인용 수 10

한 줄 요약

이 논문은 얼굴 랜드마크 주변의 국소적 외관 패치 간의 분류 가능한 관계를 관계적 어텐션 메커니즘을 사용하여 캡처하고, 신원 조건부 LSTM 상태로 향상된 쌍방향 관계 네트워크(Pairwise Relational Network, PRN)를 제안한다. 이 방법은 글로벌 특징과 관계적 표현을 조합하여 LFW에서 99.76%의 정확도, YTF에서 96.3%의 정확도를 기록하며 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Existing face recognition using deep neural networks is difficult to know what kind of features are used to discriminate the identities of face images clearly. To investigate the effective features for face recognition, we propose a novel face recognition method, called a pairwise relational network (PRN), that obtains local appearance patches around landmark points on the feature map, and captures the pairwise relation between a pair of local appearance patches. The PRN is trained to capture unique and discriminative pairwise relations among different identities. Because the existence and meaning of pairwise relations should be identity dependent, we add a face identity state feature, which obtains from the long short-term memory (LSTM) units network with the sequential local appearance patches on the feature maps, to the PRN. To further improve accuracy of face recognition, we combined the global appearance representation with the pairwise relational feature. Experimental results on the LFW show that the PRN using only pairwise relations achieved 99.65% accuracy and the PRN using both pairwise relations and face identity state feature achieved 99.76% accuracy. On the YTF, both the PRN using only pairwise relations and the PRN using pairwise relations and the face identity state feature achieved the state-of-the-art (95.7% and 96.3%). The PRN also achieved comparable results to the state-of-the-art for both face verification and face identification tasks on the IJB-A, and the state-of-the-art on the IJB-B.

연구 동기 및 목표

• 딥 라이브러리 얼굴 인식에서 해석이 어려운 점(특정 특징이 신원을 어떻게 분류하는지 명확하지 않음)을 해결하기 위해.
• 특징 맵 상의 국소적 얼굴 외관 패치 간의 신원 의존적 쌍방향 관계를 모델링하여 분류 성능을 향상시키기 위해.
• 글로벌 외관 특징와 국소적 관계 표현을 통합하여 얼굴 인식 정확도를 향상시키기 위해.
• 순차적 국소 패치 특징를 사용하여 관계 처리를 신원 상태에 조건화하는 메커니즘을 개발하기 위해.
• LFW, YTF, IJB-A, IJB-B와 같은 여러 기준 데이터셋에서 비구속 조건 하에서 방법의 유효성을 검증하기 위해.

제안 방법

• PRN은 백본 CNN의 특징 맵에서 얼굴 랜드마크 점 주변의 국소적 외관 패치를 추출한다.
• 학습 가능한 관계적 어텐션 메커니즘을 사용하여 모든 패치 쌍 간의 관계를 계산한다.
• 국소 패치의 순서를 처리하는 LSTM을 통해 신원 상태 특징를 생성하며, 이는 관계 계산에 신원 맥락을 조건화한다.
• 최종 표현은 백본 CNN의 글로벌 특징 벡터와 PRN의 관계적 특징를 조합하여 생성된다.
• 모델은 하드 마이닝을 적용한 트리플릿 손실을 사용하여 훈련되며, 신원 간 분리성과 분류 가능성을 최적화한다.
• 패치 추출 이전에 얼굴 정렬을 위해 딥 리gression 모델(DAN)을 사용하여 얼굴 랜드마크를 정규화한다.

실험 결과

연구 질문

• RQ1 특징 맵 상의 국소적 얼굴 패치 간의 쌍방향 관계가 비구속 환경에서 얼굴 인식 성능을 향상시키는가?
• RQ2 신원 상태 특징에 따라 관계 계산을 조건화할 경우 분류 성능과 인식 정확도에 어떤 영향을 미치는가?
• RQ3 관계적 특징가 얼굴 인식 작업에서 글로벌 표현과 얼마나 잘 보완되는가?
• RQ4 제안된 PRN이 LFW, YTF, IJB-A, IJB-B와 같은 표준 기준 데이터셋에서 최신 기술 수준 성능을 달성하는가?
• RQ5 모델이 얼굴 검증 및 식별 작업 모두에 일반화되어 일관된 성능 향상을 보이는가?

주요 결과

• 쌍방향 관계만을 사용한 PRN은 LFW 데이터셋에서 99.65%의 정확도를 기록하여 글로벌 특징 의존도를 최소화한 강력한 성능을 입증했다.
• 글로벌 특징와 쌍방향 관계, 신원 상태를 모두 통합한 전체 PRN 모델은 LFW에서 99.76%의 정확도를 기록하며 새로운 최신 기술 수준을 수립했다.
• YTF 데이터셋에서 PRN은 쌍방향 관계 전용일 경우 95.7%의 정확도, 신원 상태를 포함할 경우 96.3%의 정확도를 기록했으며, 모두 최신 기술 수준 성능이었다.
• IJB-B에서 PRN 모델(C 모델)은 FAR=0.00001일 때 TAR 0.721, FPIR=0.01일 때 TPIR 0.814를 기록했으며, Rank-10 정확도는 0.975였다.
• 신원 상태 특징는 베이스라인 PRN보다 성능 향상을 크게 이룩하여, 이는 신원 의존적 관계 의미를 모델링하는 데서의 기여를 확인시켰다.
• 모든 데이터셋과 작업에서 PRN는 베이스라인 CNN 및 PRN 전용 모델을 일관되게 능가하여, 관계적 및 신원 조건부 구성 요소의 효과성을 입증했다.