[논문 리뷰] Feeding Hand-Crafted Features for Enhancing the Performance of Convolutional Neural Networks

Sepidehsadat Hosseini, Seok Hee Lee외 1명|arXiv (Cornell University)|2018. 01. 24.

Face recognition and analysis참고 문헌 27인용 수 25

한 줄 요약

이 논문은 수작업으로 만든 고바르 필터 반응을 입력 이미지와 함께 공급하여 복소 신경망(CNN)을 개선함으로써 얼굴 관련 작업에 활용하는 방법을 제안한다. 다중 채널 텐서 입력 또는 학습된 가중치 융합을 통해 고바르 특징과 원시 픽셀을 융합함으로써, 연령/성별 추정, 얼굴 검출, 얼굴 표정 인식에서 표준 CNN보다 성능이 향상되었으며, 기준 데이터셋에서 뛰어난 성능을 보였다.

ABSTRACT

Since the convolutional neural network (CNN) is be- lieved to find right features for a given problem, the study of hand-crafted features is somewhat neglected these days. In this paper, we show that finding an appropriate feature for the given problem may be still important as they can en- hance the performance of CNN-based algorithms. Specif- ically, we show that feeding an appropriate feature to the CNN enhances its performance in some face related works such as age/gender estimation, face detection and emotion recognition. We use Gabor filter bank responses for these tasks, feeding them to the CNN along with the input image. The stack of image and Gabor responses can be fed to the CNN as a tensor input, or as a fused image which is a weighted sum of image and Gabor responses. The Gabor filter parameters can also be tuned depending on the given problem, for increasing the performance. From the extensive experiments, it is shown that the proposed methods provide better performance than the conventional CNN-based methods that use only the input images.

연구 동기 및 목표

• 수작업으로 만든 특징이 얼굴 관련 컴퓨터 비전 작업에서 CNN 성능을 향상시킬 수 있는지 조사하기 위해.
• 고바르 필터 반응을 CNN에 보조 입력으로 통합하여 얼굴의 질감과 주름과 같은 도메인 전문 지식을 활용하기 위해.
• 다중 채널 텐서 입력 또는 학습된 가중치 융합을 통한 특징 융합이 특징 학습 및 모델 정확도를 향상시킬 수 있는지 평가하기 위해.
• 특징의 질감과 구조적 세부 정보(예: 주름)가 중요한 작업, 예를 들어 연령/성별 추정 및 정서 인식에서 고바르 특징의 효과를 입증하기 위해.
• 도메인 특화된 특징을 통합함으로써 모델 복잡도를 증가시키지 않고도 네트워크 깊이를 줄이거나 정확도를 향상시킬 수 있는지 보여주기 위해.

제안 방법

• 특수 작업에 맞게 조정된 파rameters(파장 λ, 방향성 θ, 단계 φ, 공간 주파수 γ, 표준편차 σ)를 가진 필터 집합을 사용하여 고바르 필터 반응을 추출한다.
• 원시 입력 이미지와 고바르 반응을 다중 채널 텐서(H×W×(C+K), 여기서 K는 고바르 필터 수)로 처리하여 CNN에 직접 입력함으로써 다중 스펙트럼 이미지처럼 취급한다.
• 또 다른 방법으로, 첫 번째 네트워크 단계에서 입력 이미지와 고바르 반응을 단일 융합 특징 맵으로 통합하기 위해 학습 가능한 1×1 컨볼루션 레이어를 적용한다.
• 표준 CNN 손실 함수를 사용하여 네트워크를 최적화한다: 분류 작업에는 교차 엔트로피, 얼굴 검출의 경계상자 회귀에는 L2 손실을 사용한다.
• 특정 작업(예: 얼굴 표정 인식)에 맞게 고바르 파rameters를 조정(예: λ=2.5, σ=1.4, γ=0.1)하여 질감 민감도를 향상시킨다.
• 표준 벤치마크를 사용하여 모델을 훈련하고 평가한다: 연령/성별 추정은 UCFBnB, 얼굴 검출은 FDDB, 정서 인식은 FER2013을 사용한다.

실험 결과

연구 질문

• RQ1 연령/성별 추정, 얼굴 검출, 정서 인식과 같은 얼굴 관련 작업에서 수작업으로 만든 고바르 특징이 CNN 성능을 향상시킬 수 있는가?
• RQ2 다중 채널 입력 또는 학습된 1×1 컨볼루션을 통해 고바르 반응과 원시 픽셀 입력을 융합하면 특징 표현력과 모델 정확도가 향상되는가?
• RQ3 조정된 고바르 필터 파rameters(예: 파장, 방향성, 대역폭)는 질감과 주름에 민감한 작업에서 성능에 어떤 영향을 미치는가?
• RQ4 도메인 특화된 특징 통합을 통해 CNN의 필요 깊이 또는 계산 비용을 줄일 수 있으며, 정확도는 유지 또는 향상시킬 수 있는가?
• RQ5 다양한 얼굴 관련 작업(특징 민감도가 상이함) 전반에 걸쳐 고바르 특징 융합의 성능 향상 효과가 일관된가?

주요 결과

• 제안된 방법은 FDDB 얼굴 검출 벤치마크에서 검증 정확도 95.72%를 달성하여, 유사한 파라미터 수를 가진 MTCNN(95.4%)과 Cascade CNN(95.1%)를 능가했다.
• 연령/성별 추정 작업에서 고바르 융합을 적용한 모델은 [16, 32]에서 제시된 최신 기술의 이미지 도메인 CNN보다 더 높은 정확도를 기록했지만, 정확한 수치는 보고되지 않았다.
• FER2013 데이터셋에서 GF-VGGNet 모델은 72.198%의 정확도를 달성하여 기준 VGGNet(69.08%)보다 2.098% 향상되었으며, SVM(71.162%) 및 비지도 학습 모델보다도 뛰어났다.
• 고바르 특징의 사용은 네트워크 수렴 속도 향상과 함께 특징 맵 활성화 향상을 가져왔으며, 컨볼루션 레이어에서 주름과 얼굴 윤곽의 검출 능력이 향상되었다.
• 실시간 추론 속도를 유지하여, MTCNN 및 Cascade CNN와 동일한 GPU에서 99 FPS를 기록했으며, 계산 오버헤드가 최소한이었다.
• 시각적 분석 결과 고바르 융합 특징이 질감과 형태에 대한 감도를 향상시켜 주름 밀도가 높은 영역에서 특히 효과적임을 확인했다.