[논문 리뷰] A Multi-Scale Cascade Fully Convolutional Network Face Detector

Zhenheng Yang, Ram Nevatia|arXiv (Cornell University)|2016. 09. 12.

Face recognition and analysis참고 문헌 1인용 수 13

한 줄 요약

이 논문은 다중 척도 캐스케이드 완전 컨volution 네트워크(FCN)를 제안하며, 세 단계의 FCN를 통해 점진적으로 얼굴 위치를 정밀하게 조정함으로써 다양한 척도에서 얼굴 제안을 생성하고 개선합니다. 점수 맵을 사용하여 이를 달성합니다. 이 방법은 AFW에서 최신 기술 수준의 성능을 달성하고, FDDB, PASCAL Faces, IJB-A 데이터셋에서 경쟁력 있는 결과를 내며, 노이즈에 대해 뛰어난 내성과 DPM보다 현저히 낮은 추론 시간을 보입니다.

ABSTRACT

Face detection is challenging as faces in images could be present at arbitrary locations and in different scales. We propose a three-stage cascade structure based on fully convolutional neural networks (FCNs). It first proposes the approximate locations where the faces may be, then aims to find the accurate location by zooming on to the faces. Each level of the FCN cascade is a multi-scale fully-convolutional network, which generates scores at different locations and in different scales. A score map is generated after each FCN stage. Probable regions of face are selected and fed to the next stage. The number of proposals is decreased after each level, and the areas of regions are decreased to more precisely fit the face. Compared to passing proposals directly between stages, passing probable regions can decrease the number of proposals and reduce the cases where first stage doesn't propose good bounding boxes. We show that by using FCN and score map, the FCN cascade face detector can achieve strong performance on public datasets.

연구 동기 및 목표

• 대부분의 얼굴 이미지에서 빛의 조도, 자세, 가림, 임의의 얼굴 척도 및 위치의 큰 변동성과 같은 도전 과제를 해결하기 위해.
• 전통적인 슬라이딩 윈도우 및 고정 크기의 제안 방법을 완전 컨volution형, 다중 척도 캐스케이드 아키텍처로 대체하여 검출 정확도와 효율성을 향상시키기 위해.
• FCN 아키텍처에서 점수 맵과 종단 간 훈련을 활용하여 훈련 데이터의 노이즈가 많은 레이블에 민감도를 낮추기 위해.
• 다양한 공개 데이터셋에서 뛰어난 성능을 유지하면서, DPM 및 Faceness와 같은 최신 기술 수준의 검출기들과 비교해도 추론 시간이 현저히 낮은 성능을 달성하기 위해.

제안 방법

• 프레임워크는 세 단계의 완전 컨볼루션 네트워크(FCN) 캐스케이드를 사용하며, 각 단계에서 모든 공간 위치에서 얼굴 존재 가능성 예측을 위한 점수 맵을 생성합니다.
• 각 FCN 단계는 다중 척도 이미지 입력을 처리하며, 다중 스트림 아키텍처를 사용하여 다양한 척도에서의 검출 신뢰도를 집계한 점수 맵을 생성합니다.
• 고활성 값 기반으로 점수 맵에서 제안을 선택하고 다음 단계로 전달하며, 후속 단계는 더 작은, 더 정밀한 영역에 집중합니다.
• 최종 단계에서는 하드 예제로 훈련된 검증용 FCN를 사용하여 정위치 정확도를 향상시키고 가짜 양성 예측을 줄입니다.
• 고정 크기의 제안 대신 점수 맵을 사용함으로써 리사이징이 필요 없고, 공간적으로 조밀한 감독을 통한 종단 간 훈련이 가능해집니다.
• 네트워크는 VGG Face 데이터셋의 단지 6,000개의 양성 샘플만을 사용하여 종단 간 훈련되며, 레이블 노이즈에 대해 매우 낮은 민감도를 보입니다.

실험 결과

연구 질문

• RQ1 다중 척도 점수 맵을 사용하는 완전 컨볼루션 캐스케이드 아키텍처가 기존의 슬라이딩 윈도우 및 제안 기반 방법보다 얼굴 검출에서 더 우수한 성능을 내는가?
• RQ2 캐스케이드 정밀 조정 과정이 다양한 난이도 수준의 데이터셋에서 검출 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ3 FCN 캐스케이드가 훈련 데이터에서 노이즈가 많거나 정확도가 떨어지는 바운딩 박스 레이블에 대해 어느 정도 내성적인가?
• RQ4 IJB-A와 같이 척도, 자세, 조도의 극단적인 변동성이 있는 데이터셋에서도 제안된 방법이 높은 성능을 유지하는가?
• RQ5 정확도와 추론 속도 측면에서 DPM 및 Faceness와 같은 최고 수준의 검출기들과 비교해 볼 때 FCN 캐스케이드의 성능은 어떠한가?

주요 결과

• AFW 데이터셋에서 FCN 캐스케이드는 최신 기술 수준의 성능을 달성하며, DPM과 동점이 되고 Viola-Jones 및 CNN 캐스케이드를 능가합니다.
• FDDB 데이터셋에서 FCN 캐스케이드는 강력한 성능을 보이며, 데이터셋이 제한 없는 실제 세계 이미지에 중점을 두고 있음에도 불구하고 최고의 검출기 중 하나로 평가됩니다.
• PASCAL Faces 데이터셋에서 FCN 캐스케이드는 DPM 및 Faceness를 제외한 모든 검출기보다 뛰어난 성능을 보이며, 곤란한, 가림이 있는, 다양한 얼굴 사례에 대한 뛰어난 일반화 능력을 입증합니다.
• IJB-A 데이터셋은 극단적인 척도 변화, 조도 변화, 가림을 포함하고 있으나, FCN 캐스케이드는 가장 높은 평균 정밀도(AP)와 ROC 곡선 아래 면적(AUC)을 기록하여 DPM, Viola-Jones 및 CNN 캐스케이드를 모두 능가합니다.
• FCN 캐스케이드는 프레임당 1.1초의 속도로 실행되며, DPM(프레임당 14.8초)보다 현저히 빠르므로 강력한 정확도를 유지하면서도 주요 효율성 우위를 확보합니다.