[논문 리뷰] Grid Loss: Detecting Occluded Faces

Michael Opitz, Georg Waltner외 3명|arXiv (Cornell University)|2016. 09. 01.

Advanced Neural Network Applications참고 문헌 40인용 수 12

한 줄 요약

이 논문은 특징 맵을 공간 격자로 나누고 각 격자 블록 별로 힌지 손실을 독립적으로 최적화하는 새로운 CNN 손실 레이어인 Grid Loss를 소개한다. 이로써 검출 창의 개별 부분이 더 구별력 있게 되며, 런타임 비용 없이도 가림에 대한 강건성을 향상시켜 FDDB, PASCAL Faces, AFW에서 실시간으로 20 FPS로 상태최저 수준의 얼굴 검출 성능을 달성한다.

ABSTRACT

Detection of partially occluded objects is a challenging computer vision problem. Standard Convolutional Neural Network (CNN) detectors fail if parts of the detection window are occluded, since not every sub-part of the window is discriminative on its own. To address this issue, we propose a novel loss layer for CNNs, named grid loss, which minimizes the error rate on sub-blocks of a convolution layer independently rather than over the whole feature map. This results in parts being more discriminative on their own, enabling the detector to recover if the detection window is partially occluded. By mapping our loss layer back to a regular fully connected layer, no additional computational cost is incurred at runtime compared to standard CNNs. We demonstrate our method for face detection on several public face detection benchmarks and show that our method outperforms regular CNNs, is suitable for realtime applications and achieves state-of-the-art performance.

연구 동기 및 목표

• 부분적으로 가려진 얼굴을 실시간으로 검출하는 문제를 해결하기 위해, 기존 표준 CNN이 비구별적인 부분으로 인해 실패하는 이유를 해결한다.
• 검출 창의 각 하위 영역이 독립적으로 구별력 있도록 보장하여, 가림 상황에서도 검출기의 강건성을 향상시킨다.
• 격자 손실을 표준 완전 연결 레이어로 매핑하여 계산 효율성을 유지하고, 런타임 오버헤드를 방지한다.
• 과적합과 특징 상관관계를 줄이며, 기존의 CNN 기반 얼굴 검출기보다 벤치마크 데이터셋에서 성능을 뛰어나게 한다.

제안 방법

• Grid Loss는 최종 합성곱 특징 맵을 공간 하위 영역의 격자(예: 4x4 또는 5x5 블록)로 나눈다.
• 각 격자 셀에 대해 힌지 손실을 독립적으로 적용하여, 각 국소 영역이 자체적으로 얼굴 검출에 대해 구별력 있도록 유도한다.
• 학습 후, 격자 손실 레이어는 표준 완전 연결 레이어로 매핑되어 추론 속도를 유지한다.
• 표준 CNN 아키텍처와 호환되며, 아키텍처 변경이나 추가 추론 시간 계산이 필요하지 않다.
• 표준 얼굴 검출 벤치마크를 사용하여 평가되며, FDDB, AFW, PASCAL Faces를 포함한 소형 및 대형 네트워크 변형을 사용한다.
• 다양한 공간적으로 독립적인 검출기의 촉진을 통해 특징 상관관계와 과적합을 줄임을 입증한다.

실험 결과

연구 질문

• RQ1 격자 기반 손실을 사용해 학습한 CNN이 표준 전역 손실에 비해 부분적으로 가려진 얼굴의 검출 정확도를 향상시키는가?
• RQ2 특징 맵에서 국소적 구별력을 강제로 유도하면 추론 비용 증가 없이도 가림에 대한 강건성을 향상시키는가?
• RQ3 표준 벤치마크에서 상태최저 수준의 얼굴 검출기와 비교해 Grid Loss는 정확도와 속도 측면에서 어떤가?
• RQ4 Grid Loss는 훈련된 CNN에서 특징 상관관계와 과적합을 어느 정도 줄이는가?
• RQ5 CNN 캐스케이드와 같은 기존 방법과 결합하여 Grid Loss를 효과적으로 활용할 수 있는가?

주요 결과

• FDDB 데이터셋에서, 빠른 모델은 0.1 FPPI에서 86.7%의 재현율을 달성하여 기존 최고 성능보다 진짜 양성률이 0.7% 높았다.
• 더 큰 모델은 FDDB에서 0.1 FPPI에서 89.4%의 재현율을 기록하여 최고 성능을 달성했다.
• PASCAL Faces와 AFW에서 각각 평균 정밀도가 기존 최고 성능보다 1.38%, 1.45% 향상되었다.
• 속도 향상 기법(예: 캐스케이드 또는 분리 가능 컨벌루션)을 사용하지 않아도 표준 GPU 하드웨어에서 20 FPS로 실행된다.
• 매개변수 평가 및 추상화 연구를 통해 과적합과 특징 상관관계가 감소하는 것으로 확인되었다.
• AlexNet과 조합했을 때, FDDB에서 90.1%의 재현율을 달성하여 효과성과 존재하는 아키텍처와의 보완성을 추가로 확인했다.