[논문 리뷰] BoostGAN for Occlusive Profile Face Frontalization and Recognition

Qingyan Duan, Lei Zhang|arXiv (Cornell University)|2019. 02. 26.

Face recognition and analysis참고 문헌 36인용 수 9

한 줄 요약

이 논문은 대량의 자세 변화와 부분적 가림 상태에서도 프ofile 얼굴을 동시에 탈가림, 정방향화, 인식하는 엔드 투 엔드 생성적 적대적 네트워크인 BoostGAN을 제안한다. 군집에서부터 세분화되는 아키텍처를 통해 다중 해상도, 다중 패치 입력을 활용하고, 초기 합성에 깊은 GAN을, 사진처럼 현실적인 개선에 浅은 부스팅 네트워크를 사용함으로써 BoostGAN은 LFW에서 관건 지점 가림 조건 하에 94.90% AUC의 최고 성능을 달성하면서도 정체성과 텍스처를 유지한다.

ABSTRACT

There are many facts affecting human face recognition, such as pose, occlusion, illumination, age, etc. First and foremost are large pose and occlusion problems, which can even result in more than 10% performance degradation. Pose-invariant feature representation and face frontalization with generative adversarial networks (GAN) have been widely used to solve the pose problem. However, the synthesis and recognition of occlusive but profile faces is still an uninvestigated problem. To address this issue, in this paper, we aim to contribute an effective solution on how to recognize occlusive but profile faces, even with facial keypoint region (e.g. eyes, nose, etc.) corrupted. Specifically, we propose a boosting Generative Adversarial Network (BoostGAN) for de-occlusion, frontalization, and recognition of faces. Upon the assumption that facial occlusion is partial and incomplete, multiple patch occluded images are fed as inputs for knowledge boosting, such as identity and texture information. A new aggregation structure composed of a deep GAN for coarse face synthesis and a shallow boosting net for fine face generation is further designed. Exhaustive experiments demonstrate that the proposed approach not only presents clear perceptual photo-realistic results but also shows state-of-the-art recognition performance for occlusive but profile faces.

연구 동기 및 목표

• 기존 연구에서 거의 다루지 않은 바와 같이, 눈, 코 등의 주요 얼굴 부위가 가려진 상태에서의 프ofile 얼굴 인식 문제를 해결한다.
• 기존 GAN 기반의 이미지 보완 및 정방향화 방법은 개방 집합 가림 조건 하에서 정체성을 유지하지 못하는 한계를 극복한다.
• 임의의 가림 상태를 가진 프ofile 얼굴에 대해 동시에 탈가림, 정방향화, 인식을 수행하는 통합 프레임워크를 개발한다.
• 특히 제약 없는 환경에서 다양한 가림 유형(관건 지점 vs. 랜덤 블록)과 자세 변화에 대해 강건성을 확보한다.
• 학습 데이터에 정확히 테스트 가림 패턴이 포함되어 있지 않은 경우에도 고해상도이자 정체성 유지가 가능한 얼굴 합성을 달성한다.

제안 방법

• 두 단계의 군집에서 세분화되는 아키텍처를 제안: 초기 탈가림 및 정방향화를 위한 깊은 GAN 네트워크(coarse net), 이후 사진처럼 현실적인 개선을 위한 얕은 부스팅 네트워크(fine net)를 순차적으로 적용.
• 다양한 가림 패턴을 가진 부분적으로 가려진 프ofile 이미지를 복수로 입력하여, coarse net이 다양한 가림 패턴 간 지식을 통합함으로써 강건성을 향상시킨다.
• 다양한 해상도에서 픽셀 수준과 특징 수준의 감독을 통합하여 합성 과정에서 정체성과 텍스처 정보를 유지한다.
• 다중 입력 부스팅 네트워크를 활용해 다수의 가려진 입력에서 유사한 특징를 통합하여 깔끔하고 정면이며 정체성 일관성이 확보된 얼굴을 생성한다.
• 모델 전체를 적대적 손실, 정체성 유지 손실, 지각적 손실을 사용해 엔드 투 엔드로 훈련함으로써 현실성과 정체성 충실도를 확보한다.
• 지속적 U-Net 유사 생성자와 패치 GAN 판별자를 활용해 최종 출력의 국소 세부 사항 생성 및 현실감을 향상시킨다.

실험 결과

연구 질문

• RQ1 관건 지점이 손상되거나 누락된 상태에서 GAN 기반 모델이 프ofile 얼굴의 탈가림 및 정방향화를 효과적으로 수행할 수 있는가?
• RQ2 특히 테스트 시 가림 패턴이 학습 시와 다를 경우, 탈가림된 프ofile 얼굴 합성 과정에서 정체성과 텍스처 정보를 어떻게 유지할 수 있는가?
• RQ3 군집에서 세분화되는 다중 입력 부스팅 아키텍처는 단일 입력 GAN보다 사진처럼 현실적인 정체성 유지 얼굴 생성 성능에서 뛰어나지 않는가?
• RQ4 제안된 모델은 다양한 가림 유형(예: 관건 지점 vs. 랜덤 블록)과 자세 변화에 대해 제약 없는 환경에서 일반화 가능한가?
• RQ5 제안된 BoostGAN은 탈가림 품질과 후속 얼굴 인식 성능 모두에서 기존 최고 수준의 방법보다 뛰어나지 않는가?

주요 결과

• 관건 지점 가림 조건 하에서 LFW 데이터셋에서 BoostGAN은 94.90% AUC를 달성하여 이어지는 최고 성능 모델(TP-GAN)을 1.7퍼센트 포인트 이상 앞서며 성능을 뛰어넘었다.
• 랜덤 블록 가림 조건에서는 BoostGAN이 94.75% AUC를 기록하여 DR-GAN(66.78%)과 TP-GAN(88.22%)을 크게 앞서며 다양한 가림 유형에 대한 강건성을 입증했다.
• Multi-PIE 데이터셋에서 깨끗한 프ofile 얼굴 인식 성능을 평가한 결과, BoostGAN은 평균 Rank-1 정확도 95.86%를 달성하여 이전 최고 성능(TP-GAN 94.96%)을 초월했다.
• 모든 자세 각도(±15°에서 ±60°)에서 높은 성능를 유지하였으며, ±15°에서 Rank-1 정확도가 99.88%에 이르러 자세 변화에 대한 강력한 일반화 능력을 보였다.
• 시각적 결과는 BoostGAN이 비록 중요한 얼굴 관건 지점이 가려진 경우에도 사진처럼 현실적인 정체성 유지 얼굴을 생성하는 반면, 기존 방법들은 이러한 조건에서 실패함을 보여주었다.
• 절단 실험 결과, 다중 입력 부스팅 메커니즘과 군집에서 세분화되는 설계가 성능 향상에 필수적임을 확인하였으며, 절단 변형 모델들은 유의미한 정확도 하락을 보였다.