[논문 리뷰] Face Detection in Extreme Conditions: A Machine-learning Approach

Sameer Aqib Hashmi|arXiv (Cornell University)|2022. 01. 17.

Face recognition and analysis인용 수 6

한 줄 요약

이 논문은 극단적인 조명, 가림, 다양한 자세와 같은 극한 조건에서의 얼굴 검출을 위한 딥 캐스케이드 다중작업 프레임워크를 제안한다. 3단계의 굵은-부터-세밀한 컨볼루션 네트워크와 새로운 온라인 하드 샘플 마이닝 전략을 활용함으로써 수동 데이터 정제 없이도 검출 정확도를 향상시켜 도전적인 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Face detection in unrestricted conditions has been a trouble for years due to various expressions, brightness, and coloration fringing. Recent studies show that deep learning knowledge of strategies can acquire spectacular performance inside the identification of different gadgets and patterns. This face detection in unconstrained surroundings is difficult due to various poses, illuminations, and occlusions. Figuring out someone with a picture has been popularized through the mass media. However, it's miles less sturdy to fingerprint or retina scanning. The latest research shows that deep mastering techniques can gain mind-blowing performance on those two responsibilities. In this paper, I recommend a deep cascaded multi-venture framework that exploits the inherent correlation among them to boost up their performance. In particular, my framework adopts a cascaded shape with 3 layers of cautiously designed deep convolutional networks that expect face and landmark region in a coarse-to-fine way. Besides, within the gaining knowledge of the procedure, I propose a new online tough sample mining method that can enhance the performance robotically without manual pattern choice.

연구 동기 및 목표

• 불량한 조명, 가림, 극단적인 자세 등 제약 없는 극한 환경 조건에서의 얼굴 검출 문제를 지속적으로 해결하기 위해.
• 기존 방법이 실패하는 실제 환경에서의 검출 강건성과 정확도를 향상시키기 위해.
• 수동 하드 샘플 선택이 필요 없도록 자동화된 온라인 하드 샘플 마이닝 메커니즘을 도입하기 위해.
• 코어-투-파인 방식으로 계층적이고 캐스케이드된 방식으로 얼굴 위치와 얼굴 특징점 예측을 동시에 수행함으로써 다중작업 학습을 활용하기 위해.
• 깊이 있는 계층적 네트워크 아키텍처를 통해 극한 조건에서의 벤치마크 데이터셋에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 프레임워크는 얼굴 검출과 특징점 정렬을 굵은-부터-세밀한 예측으로 점진적으로 개선하는 3단계 캐스케이드 딥 컨볼루션 네트워크를 사용한다.
• 캐스케이드의 각 단계는 얼굴 위치와 얼굴 키포인트 좌표를 회귀하기 위해 특화된 딥 네트워크를 사용하여 정렬 정밀도를 향상시킨다.
• 새로운 온라인 하드 샘플 마이닝 전략은 역전파 동안 어려운 훈련 샘플을 동적으로 식별하고 우선순위를 정함으로써 모델 일반화 능력을 향상시킨다.
• 얼굴 검출과 얼굴 특징점 검출을 동시에 최적화함으로써 다중작업 학습을 통합하여 상호 연관성을 활용한다.
• 검출 및 특징점 회귀 목표를 균형 잡힌 손실 함수를 사용해 전체 네트워크를 엔드 투 엔드로 훈련시킨다.
• 계산 효율성이 뛰어나면서도 극한의 시각적 변형 조건에서도 높은 정확도를 유지하도록 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 캐스케이드된 딥 러닝 프레임워크는 극단적인 조도 및 자세 변화 조건에서 얼굴 검출 성능을 향상시킬 수 있는가?
• RQ2 얼굴 위치와 얼굴 특징점의 동시 예측은 제약 없는 환경에서 검출 강건성을 어떻게 향상시키는가?
• RQ3 수동 데이터 정제 없이도 온라인 하드 샘플 마이닝이 얼마나 모델 정확도를 향상시킬 수 있는가?
• RQ4 코어-투-파인 캐스케이드 아키텍처는 극한 조건 벤치마크에서 단일단계 검출기보다 뛰어난 성능을 내는가?
• RQ5 공유된 특징 추출을 통한 다중작업 학습은 자원이 제한되거나 노이즈가 많은 얼굴 검출 시나리오에서 일반화 능력을 어떻게 향상시키는가?

주요 결과

• 제안된 캐스케이드 다중작업 프레임워크는 극한 조건에서 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여 이전의 단일단계 검출기들을 크게 능가한다.
• 온라인 하드 샘플 마이닝 통합으로 인해 어려운 샘플이 자동으로 식별되고 우선순위가 정해지며 수렴성과 정확도가 향상된다.
• 얼굴 검출과 얼굴 특징점 회귀를 동시 최적화함으로써 특징 학습이 향상되어 가림이나 열악한 조명 조건에서도 더 정확한 정렬이 가능해진다.
• 코어-투-파인 캐스케이드 메커니즘은 어려운 상황에서 잘못된 검출을 효과적으로 줄이고 검출 재현율을 향상시킨다.
• 조명, 자세, 부분적 가림에 있어 극단적인 변동이 있는 다양한 데이터셋에서 모델이 강건성을 보이며 일반화 능력을 확인한다.
• 동적 하드 샘플 마이닝을 통한 엔드 투 엔드 훈련 과정은 수동 데이터 필터링의 필요성을 제거하여 구현을 단순화한다.