[논문 리뷰] Dynamic Graph Representation for Partially Occluded Biometrics

Min Ren, Yunlong Wang외 2명|arXiv (Cornell University)|2019. 12. 01.

Biometric Identification and Security참고 문헌 40인용 수 4

한 줄 요약

이 논문은 부분적 가림을 다루기 위해 CNN과 그래픽 모델을 결합한 새로운 딥러닝 프레임워크인 동적 그래프 표현(Dynamic Graph Representation, DGR)을 제안한다. DGR는 CNN 활성화로부터 동적 특징 그래프를 구성하고, 가림된 영역에 해당하는 노드를 적응적으로 제거함으로써 인식 정확도를 향상시키며, 해석 가능한 추론 기반 결정을 제공한다. 이는 아이ris 및 얼굴 인식 벤치마크에서 CNN과 마스킹 전략을 크게 앞서는 성능을 보였다.

ABSTRACT

The generalization ability of Convolutional neural networks (CNNs) for biometrics drops greatly due to the adverse effects of various occlusions. To this end, we propose a novel unified framework integrated the merits of both CNNs and graphical models to learn dynamic graph representations for occlusion problems in biometrics, called Dynamic Graph Representation (DGR). Convolutional features onto certain regions are re-crafted by a graph generator to establish the connections among the spatial parts of biometrics and build Feature Graphs based on these node representations. Each node of Feature Graphs corresponds to a specific part of the input image and the edges express the spatial relationships between parts. By analyzing the similarities between the nodes, the framework is able to adaptively remove the nodes representing the occluded parts. During dynamic graph matching, we propose a novel strategy to measure the distances of both nodes and adjacent matrixes. In this way, the proposed method is more convincing than CNNs-based methods because the dynamic graph method implies a more illustrative and reasonable inference of the biometrics decision. Experiments conducted on iris and face demonstrate the superiority of the proposed framework, which boosts the accuracy of occluded biometrics recognition by a large margin comparing with baseline methods.The code is avaliable at https://github.com/RenMin1991/Dyamic\_Graph\_Representation

연구 동기 및 목표

• 부분적 가림 상황에서 CNN의 일반화 성능 저하 문제를 해결하기 위해.
• 특징 추출 후 적용되는 마스킹 전략은 오류를 유발하고 해로울 수 있는 한계를 극복하기 위해.
• CNN과 그래픽 모델을 통합하여 강건한 가림 처리를 위한 통합 프레임워크를 개발하기 위해.
• 특징 그래프 내의 노드 유사도와 구조적 매칭을 시각화하여, 해석 가능하고 추론 기반의 결정을 제공하기 위해.
• 자연스럽지 않은 생체인식 환경에서의 내부 클래스 유사도 향상과 일반화 능력 향상을 위해.

제안 방법

• 그래프 생성기(Generator)는 CNN 특징 맵으로부터 공간적 영역을 추출하고, 이를 연결하여 특징 그래프를 형성한다. 여기서 노드는 이미지의 부분을 나타내고, 엣지는 공간적 관계를 코딩한다.
• 새로운 압축-자극 그래프 어텐션 네트워크(Squeeze-and-Excitation Graph Attention Network, SE-GAT)는 특징 그래프를 처리하여 어텐션 메커니즘을 활용해 노드 표현을 정밀하게 개선한다.
• 매칭 과정에서 유사도 분 析를 기반으로 가림된 영역에 해당하는 노드를 동적으로 제거함으로써, 적응적이고 강건한 비교를 가능하게 한다.
• 이중 거리 매칭 전략은 노드 특징과 인접 행렬 간의 유사도를 계산하여 분류 능력을 향상시킨다.
• 프레임워크는 엔드 투 엔드로 훈련 가능하며, CNN 기반 특징 추출과 미분 가능한 그래프 연산을 통합한다.
• 특징 억압이 아닌 그래프 구조 적응을 통해 가림된 영역을 무시하도록 학습함으로써, 사전 마스킹을 피한다.

실험 결과

연구 질문

• RQ1 CNN과 그래픽 모델을 통합한 통합형 딥러닝 프레임워크가 생체인식에서 부분적 가림 상황에서 정확도를 향상시킬 수 있는가?
• RQ2 가소성 있는 노드 제거와 함께 동적 그래프 구축이 고정 마스킹 전략보다 우수한가?
• RQ3 그래픽 표현 방식이 기존 CNN보다 더 해석 가능하고 타당한 결정 추론을 제공할 수 있는가?
• RQ4 제안된 방법이 자연스럽지 않은 생체인식 환경에서 내부 클래스 유사도와 일반화 능력에 어떤 영향을 미치는가?
• RQ5 정확도와 계산 비용을 고려할 때 특징 그래프의 최적 노드 수는 얼마인가?

주요 결과

• 30% 가림이 적용된 Occluded-LFW 데이터셋에서 제안된 방법은 FRR=0.1%일 때 TPR 71.8%를 달성하여 LCNN-9(22.47%)를 크게 앞섰다.
• 50% 가림 상황에서도 FRR=0.1%일 때 TPR 25.19%를 기록하여 LCNN-9(8.47%)보다 뛰어난 강건성을 입증했다.
• ND CrossSensor Iris 2013 Dataset-LG4000에서 32개 노드로 EER 0.62%를 달성하여 베이스라인 및 마스킹 전략을 모두 초월했다.
• 실험 결과, 특징 추출 이전에 가림 영역을 마스킹하는 것은 성능을 저하시키므로, 엔드 투 엔드 딥러닝 프레임워크에서는 마스킹이 해로운 것으로 나타났다.
• 특징 그래프 시각화 결과, 모델이 가장 유사한 영역(예: 눈 주변)에 집중하고 있음을 확인하여 매칭 결정에 대한 해석 가능한 추론을 제공했다.
• 파rameter 분석 결과, 32개 노드가 정확도와 계산 비용 사이의 최적 균형을 이룬 것으로 밝혀졌으며, EER는 0.62%였다.