[논문 리뷰] MogFace: Rethinking Scale Augmentation on the Face Detector.

Yang Liu, Fei Wang외 2명|arXiv (Cornell University)|2021. 03. 20.

Face recognition and analysis참고 문헌 21인용 수 9

한 줄 요약

이 논문은 극한의 스케일 변동성 하에서 얼굴 검출기의 강건성을 햖을 수 있도록 훈련 데이터의 전경/배경 맥락과 스케일 정보를 동시에 활용하는 선택적 스케일 강화(Selective Scale Enhancement, SSE) 전략을 제안한다. 데이터 샘플링에서 스케일 분포를 최적화함으로써, MogFace는 Wider Face를 포함한 모든 주요 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Face detector frequently confronts extreme scale variance challenge. The famous solutions are Multi-scale training, Data-anchor-sampling and Random crop strategy. In this paper, we indicate 2 significant elements to resolve extreme scale variance problem by investigating the difference among the previous solutions, including the fore-ground and back-ground information of an image and the scale information. However, current excellent solutions can only utilize the former information while neglecting to absorb the latter one effectively. In order to help the detector utilize the scale information efficiently, we analyze the relationship between the detector performance and the scale distribution of the training data. Based on this analysis, we propose a Selective Scale Enhancement (SSE) strategy which can assimilate these two information efficiently and simultaneously. Finally, our method achieves state-of-the-art detection performance on all common face detection benchmarks, including AFW, PASCAL face, FDDB and Wider Face datasets. Note that our result achieves six champions on the Wider Face dataset.

연구 동기 및 목표

• 실세계 응용에서 지속적인 문제로 남아 있는 극한의 스케일 변동성 문제를 해결한다.
• 기존 방법들이 전경 및 배경 맥락을 효과적으로 활용하고 있음에도 불구하고, 훈련 데이터 내 스케일 정보를 충분히 활용하지 못하고 있음을 밝힌다.
• 검출기 성능과 훈련 샘플의 스케일 분포 간의 관계를 조사한다.
• 훈련 중에 전경/배경 맥락과 스케일 정보를 동시에 효율적으로 통합하는 방법을 제안한다.
• 다양한 표준 얼굴 검출 벤치마크에서 최신 기술 수준 성능을 달성한다.

제안 방법

• 스케일 분포를 기반으로 훈련 이미지를 선택적으로 샘플링하여 스케일 변동성을 균형 잡는 선택적 스케일 강화(SSE) 전략을 제안한다.
• 스케일 인식 샘플링을 통해 이미지의 전경 및 배경 맥락을 통합하여 검출기의 일반화 능력을 향상시킨다.
• 훈련 데이터의 스케일 분포가 검출기 성능에 미치는 영향을 분석하여 샘플링 전략 설계를 안내한다.
• 다양한 스케일 표현을 우선시하면서도 맥락의 통합성을 유지하는 데이터 샘플링 메커니즘을 설계한다.
• 스케일 균형 잡힌 데이터셋을 사용하여 얼굴 검출기를 훈련시켜 극한의 스케일 변동성에 대응하는 성능을 향상시킨다.
• 구조적 변경 없이 기존 얼굴 검출 프레임워크에 SSE를 플러그인 증강 전략으로 활용한다.

실험 결과

연구 질문

• RQ1 훈련 데이터의 스케일 분포가 극한의 스케일 변동성 하에서 얼굴 검출기 성능에 어떤 영향을 미치는가?
• RQ2 스케일 인식 샘플링에 비해 전경 및 배경 맥락은 검출기의 강건성 향상에 어느 정도 기여하는가?
• RQ3 훈련 중에 맥락과 스케일 정보를 통합하는 통합 전략이 효과적으로 검출 정확도 향상에 기여할 수 있는가?
• RQ4 선택적 스케일 강화는 다양한 벤치마크에서 일관된 성능 향상을 이끌 수 있는가?
• RQ5 다중 스케일 훈련에서 랜덤 크롭 또는 앵커 기반 샘플링에 비해 스케일 인식 샘플링의 기여도는 어떠한가?

주요 결과

• 제안된 선택적 스케일 강화(SSE) 전략은 스케일과 맥락 정보를 효과적으로 통합함으로써 얼굴 검출기 성능을 크게 향상시킨다.
• MogFace는 AFW, PASCAL Face, FDDB 및 Wider Face를 포함한 모든 표준 벤치마크에서 최신 기술 수준 성능을 달성한다.
• 이 방법은 Wider Face 데이터셋에서 여섯 개의 최상위 성과를 기록하여 극한의 스케일 변동성에 대한 뛰어난 성능을 입증한다.
• 분석 결과, 훈련 데이터의 스케일 분포가 검출기 정확도에 직접적이고 측정 가능한 영향을 미친다는 것이 확인되었다.
• 스케일 기반으로 선택적으로 샘플링함으로써, 기존 증강 전략에 비해 소형 및 대형 얼굴에서의 성능 저하를 감소시켰다.