[논문 리뷰] Robust LSTM-Autoencoders for Face De-Occlusion in the Wild

Fang Zhao, Jiashi Feng외 3명|arXiv (Cornell University)|2016. 12. 27.

Face recognition and analysis참고 문헌 19인용 수 6

한 줄 요약

이 논문은 실제 비구속 환경에서 얼굴의 부분적 가림을 복원하기 위해 강건한 LSTM-오토인코더(RLA) 모델을 제안한다. 다중 척도 공간 LSTM 인코더와 단일 얼굴 복원 및 가림 감지 기능을 동시에 수행하는 이중채널 LSTM 디코더를 활용하여, 단계별로 얼굴을 복원하고 가림을 탐지함으로써, 신원을 유지하는 adversarial 학습을 통해 신원을 구별하는 특징을 유지하면서도 효과적으로 가려진 얼굴을 복원한다. 이는 합성 및 실제 가림 데이터셋에서 모두 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

Face recognition techniques have been developed significantly in recent years. However, recognizing faces with partial occlusion is still challenging for existing face recognizers which is heavily desired in real-world applications concerning surveillance and security. Although much research effort has been devoted to developing face de-occlusion methods, most of them can only work well under constrained conditions, such as all the faces are from a pre-defined closed set. In this paper, we propose a robust LSTM-Autoencoders (RLA) model to effectively restore partially occluded faces even in the wild. The RLA model consists of two LSTM components, which aims at occlusion-robust face encoding and recurrent occlusion removal respectively. The first one, named multi-scale spatial LSTM encoder, reads facial patches of various scales sequentially to output a latent representation, and occlusion-robustness is achieved owing to the fact that the influence of occlusion is only upon some of the patches. Receiving the representation learned by the encoder, the LSTM decoder with a dual channel architecture reconstructs the overall face and detects occlusion simultaneously, and by feat of LSTM, the decoder breaks down the task of face de-occlusion into restoring the occluded part step by step. Moreover, to minimize identify information loss and guarantee face recognition accuracy over recovered faces, we introduce an identity-preserving adversarial training scheme to further improve RLA. Extensive experiments on both synthetic and real datasets of faces with occlusion clearly demonstrate the effectiveness of our proposed RLA in removing different types of facial occlusion at various locations. The proposed method also provides significantly larger performance gain than other de-occlusion methods in promoting recognition performance over partially-occluded faces.

연구 동기 및 목표

• 학습 중에 볼 수 없었던 개방 집합(open set)의 테스트 얼굴을 포함하여, 유형과 위치가 다양하게 변화하는 가림이 존재하는 비구속적 실생활 환경에서 얼굴 복원 문제를 해결한다.
• 기존의 복원 방법들이 닫힌 집합(_CLOSED_SET_) 가정에 의존하거나, 선글라스나 마스크처럼 공간적으로 연결된 복잡한 가림에 실패하는 한계를 극복한다.
• 재귀적 모델링과 복원-탐지의 동시 처리를 통해 단계적으로 부분적으로 복원하는, 점진적이고 종단 간(end-to-end) 학습 가능한 프레임워크를 개발한다.
• 특히 심각한 가림 상황에서도 복원된 얼굴의 신원을 식별할 수 있는 특징을 유지하여, 후속 얼굴 인식 성능을 향상시킨다.
• 복원된 얼굴의 신원 특징를 유지하는 adversarial 학습 기반의 새로운 방법을 도입하여, 잡음과 예측 오류를 줄이고 시각적 정확도를 향상시키면서도 인식 정확도를 유지한다.

제안 방법

• 다양한 크기의 얼굴 조각을 순차적으로 처리하는 다중 척도 공간 LSTM 인코더를 사용하여, 가려진 영역의 영향을 최소화하고, 가림에 강건한 잠재 표현을 생성한다.
• 이중채널 LSTM 디코더를 구현하며, 얼굴 복원 네트워크와 가림 감지 네트워크의 두 하위 네트워크를 설계하고, 은닉 상태 피드백을 통한 상호주의(_cross-attention_)를 통해 협업한다.
• 이전에 복원된 정보를 활용하여, 굵은 단계에서 세밀한 단계로 점진적으로 가려진 얼굴 영역을 복원하는 재귀적 디코딩을 수행한다.
• 픽셀 수준의 정확도를 확보하기 위해, 복원된 이미지와 진짜 이미지 간의 평균 제곱오차(MSE) 손실을 사용하여 오토인코더를 종단 간(end-to-end)으로 학습시킨다.
• 복원된 얼굴과 원본 얼굴의 특징 표현을 일치시켜, 복원 과정에서 신원 유지가 이루어지도록 감독형 CNN을 통합한다.
• 실제 얼굴과 복원된 가려지지 않은 얼굴을 구별하는 adversarial 디스커미네이터를 적용하여, 잡음과 시각적 왜곡을 줄이고, 시각적 질감을 향상시키면서도 신원 정보를 유지한다.

Figure 1: We address the task of face de-occlusion with various types of occlusions under the condition of open test sets (i.e., test samples have no identical subject with training samples). (a) Original occlusion-free faces; (b) Occluded faces; (c) Recovered faces by our proposed method.

실험 결과

연구 질문

• RQ1 다양한 유형의 가림이 존재하는 비구속적 실생활 환경에서, 재귀적 오토인코더 아키텍처가 부분적으로 가려진 얼굴을 효과적으로 복원할 수 있는가?
• RQ2 LSTM 기반의 인코딩과 디코딩을 활용한 점진적 단계별 복원이, 단일 단계 복원 방법보다 시각적 품질과 인식 정확도 측면에서 뛰어나게 성능을 냈는가?
• RQ3 이중채널 LSTM 아키텍처에서 얼굴 복원과 가림 감지를 동시에 수행하는 것이, 가려진 얼굴 영역의 정확한 국소화와 복원에 기여하는가?
• RQ4 신원 유지 adversarial 학습이, 후속 인식 작업에서 복원된 얼굴의 식별 능력을 얼마나 향상시키는가?
• RQ5 제안된 RLA 모델이 학습 데이터에 포함되지 않은 테스트 대상이 존재하는 개방 집합 테스트 시나리오에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 RLA 모델은 가려진 얼굴이 포함된 LFW 데이터셋에서 10.0%의 최저 등가오차률(EER)을 기록하여, PCA, AE, SRC, SSDA 등의 기준 모델을 크게 앞서나간다.
• 50OccPeople 데이터셋에서는 평균 EER이 17.3%를 기록하여 실제 가림 데이터에 대해 강력한 일반화 능력을 보이며, 비교한 모든 방법보다 뛰어난 성능을 보였다.
• 신원 유지 감독을 통합한 IP-RLA 버전은 표준 오토인코더(AE) 대비 12.4%포인트, PCA 대비 18.5%포인트의 EER 감소를 기록하여, 인식 정확도 향상이 뚜렷하게 나타났다.
• 가림 감지 기능이 포함된 이중채널 LSTM 디코더는 단순 복원만 수행하는 경우에 비해 오차율을 최대 10.5%포인트까지 감소시켜, 가림 영역 국소화가 특징 유지에 기여함을 입증했다.
• adversarial 학습은 복원된 얼굴의 시각적 왜곡을 크게 줄였고, 동시에 높은 신원 식별 능력을 유지함을 확인했으며, 이는 인식 성능 향상과 시각적 질감 향상으로 이어졌다.
• 반면 얼굴의 반쪽(예: 왼쪽 또는 오른쪽)이 가려진 경우에서 가장 우수한 성능를 보였는데, 이는 얼굴 대칭성이 복원에 기여하기 때문이며, 상부나 하부 얼굴 가림 상황에서도 여전히 뛰어난 성능를 기록하여, 영역 간 특징 전이가 효과적으로 이루어졌음을 시사한다.

Figure 2: Illustration on the framework of our proposed robust LSTM-Autoencoders and its training process. It consists of a multi-scale spatial LSTM encoder and a dual-channel LSTM decoder for concurrent face reconstruction and occlusion detection.