[논문 리뷰] Permutation-invariant Feature Restructuring for Correlation-aware Image Set-based Recognition

Xiaofeng Liu, Zhenhua Guo외 5명|arXiv (Cornell University)|2019. 08. 03.

Face recognition and analysis인용 수 18

한 줄 요약

이 논문은 이미지 세트 기반 인식을 위한 순열 불변 특징 재구성(PIFR) 프레임워크를 제안한다. 이는 매개변수화된 잔차 자기주의(RSA) 모듈과 비매개변수화된 의존성 유도 특징 정렬(DFA) 모듈을 사용하여 세트 내 및 세트 간 상관관계를 모델링한다. 이 방법은 교대 최적화 방식을 통해 깊이 있는 특징과 희소 복원 계수를 동시에 최적화하여 얼굴 인식 및 인물 재식별 벤치마크에서 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

We consider the problem of comparing the similarity of image sets with variable-quantity, quality and un-ordered heterogeneous images. We use feature restructuring to exploit the correlations of both inner$\&$inter-set images. Specifically, the residual self-attention can effectively restructure the features using the other features within a set to emphasize the discriminative images and eliminate the redundancy. Then, a sparse/collaborative learning-based dependency-guided representation scheme reconstructs the probe features conditional to the gallery features in order to adaptively align the two sets. This enables our framework to be compatible with both verification and open-set identification. We show that the parametric self-attention network and non-parametric dictionary learning can be trained end-to-end by a unified alternative optimization scheme, and that the full framework is permutation-invariant. In the numerical experiments we conducted, our method achieves top performance on competitive image set/video-based face recognition and person re-identification benchmarks.

연구 동기 및 목표

• 실세계 생체 인식 응용에서 크기와 순서가 변동되고 이질적인 이미지로 구성된 이미지 세트를 비교하는 데 도전하는 문제를 해결한다.
• 기존 방법들이 세트 내 상관관계를 忽시하거나 이미지 순서에 민감한 점을 극복한다.
• 폐쇄세트 및 개방세트 인식 시나리오 모두에서 효과적인 유사도 측정을 가능하게 한다.
• 이미지 세트 순서에 불변이며 개방세트 식별에 효율적으로 확장 가능한 통합형 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.

제안 방법

• 쌍별 유사도를 사용하여 세트 내 특징을 재구성하는 잔차 자기주의(RSA) 모듈을 제안한다. 이는 분류에 유용한 이미지에 주목하고 중복을 줄인다.
• 완전 컨volutional 특징 추출기와 가우시안 유사도 측도를 통합하여 공간적 정보를 강화하여 특징 표현을 향상시킨다.
• 갤러리 특징의 희소/협동 표현을 사용하여 프로브 특징을 복원하는 비매개변수화된 의존성 유도 특징 정렬(DFA) 모듈을 설계한다.
• 매개변수화된 RSA와 비매개변수화된 사전 학습 구성 요소를 함께 엔드 투 엔드로 학습하기 위해 교대 최적화 방식을 사용한다.
• 자기주의 기반 및 희소 복원 메커니즘을 통해 RSA 및 DFA 모듈이 입력 순서에 영향을 받지 않도록 하여 순열 불변성을 확보한다.
• 협동 표현 유사도를 활용하여 프레임워크를 검증 및 개방세트 식별에 모두 적용한다.

실험 결과

연구 질문

• RQ1 순서가 없고 크기가 변동되는 이미지 세트의 세트 내 상관관계를 순차적 처리에 의존하지 않고 효과적으로 모델링할 수 있는가?
• RQ2 순서에 불변인 방식으로 세트 간 상관관계를 어떻게 활용하여 프로브-갤러리 특징 정렬을 향상시킬 수 있는가?
• RQ3 통합 프레임워크가 매개변수화된 딥러닝과 비매개변수화된 사전 학습을 동시에 최적화하여 이미지 세트 인식에 활용될 수 있는가?
• RQ4 세트 내 및 세트 간 상관관계를 함께 통합할 경우, 개방세트 및 폐쇄세트 인식 벤치마크에서 성능 향상 정도는 어느 정도인가?
• RQ5 순서에 민감하거나 상관관계를 고려하지 않는 기준 모델에 비해 제안된 방법은 정확도 및 내성 면에서 얼마나 뛰어난가?

주요 결과

• IJB-A 폐쇄세트 얼굴 인식 벤치마크에서 ResNet50 기반 PIFR는 랭크-1 정확도 94.97%를 기록하여 이전 최신 기술(SOTA)보다 4% 이상 뛰어나다.
• Celebrity-1000 개방세트 데이터셋에서 ResNet50 기반 PIFR는 랭크-1 정확도 87.13%를 달성하여 DAC보다 4% 향상되고 평균 풀링 기반 베이스라인보다 9% 이상 뛰어나다.
• iLIDS-VID 인물 재식별에서 ResNet50 기반 PIFR는 광학 흐름 없이도 랭크-1 정확도 82.5%를 기록하여 STAN보다 10.8% 향상되고 TCP보다 2.3% 뛰어나다.
• 제거 실험에서 잔차 차이 항목을 제거한 RSAw/o Δ는 성능 저하를 보이며, RSA 모듈의 설계 선택이 타당함을 입증한다.
• RSA에서 임bedded 가우시안 유사도(ΨΦ)^L를 사용할 경우 유사한 성능를 기록하지만 학습 시간이 2배 이상 증가하므로, 제안된 방법의 효율성을 입증한다.
• 입력 세트의 이미지 순서에 관계없이 일관된 성능을 보여, 프레임워크가 완전히 순열 불변임을 입증한다.