[논문 리뷰] Incremental Boosting Convolutional Neural Network for Facial Action Unit Recognition

Shizhong Han, Zibo Meng외 2명|arXiv (Cornell University)|2017. 07. 17.

Emotion and Mood Recognition참고 문헌 13인용 수 63

한 줄 요약

본 논문은 Incremental Boosting CNN (IB-CNN)을 도입하여 CNN에 incremental boosting layer를 통합해 얼굴 표정 AU 인식에서 시간에 따라 판별 특성을 선택하고, 제한된 데이터로 일반화 성능을 향상시킨다.

ABSTRACT

Recognizing facial action units (AUs) from spontaneous facial expressions is still a challenging problem. Most recently, CNNs have shown promise on facial AU recognition. However, the learned CNNs are often overfitted and do not generalize well to unseen subjects due to limited AU-coded training images. We proposed a novel Incremental Boosting CNN (IB-CNN) to integrate boosting into the CNN via an incremental boosting layer that selects discriminative neurons from the lower layer and is incrementally updated on successive mini-batches. In addition, a novel loss function that accounts for errors from both the incremental boosted classifier and individual weak classifiers was proposed to fine-tune the IB-CNN. Experimental results on four benchmark AU databases have demonstrated that the IB-CNN yields significant improvement over the traditional CNN and the boosting CNN without incremental learning, as well as outperforming the state-of-the-art CNN-based methods in AU recognition. The improvement is more impressive for the AUs that have the lowest frequencies in the databases.

연구 동기 및 목표

• CNN 과적합 및 일반화 저하를 초래하는 제한된 AU 인코딩 학습 데이터를 해결한다.
• CNN의 하위 계층에서 판별 뉴런을 선택하는 부스팅 메커니즘을 도입한다.
• 미니배치에 걸쳐 부스팅 정보를 축적하는 점진적 학습 접근 방식을 개발한다.
• 미세조정 시 강한 분류기와 약한 분류기의 오차를 균형 있게 다루는 손실 함수를 제안한다.
• 특히 드문 AU에 대해 여러 벤치마크 데이터베이스에서 향상된 AU 인식을 입증한다.

제안 방법

• CNN에 매 배치마다 판별적 FC-레이어 특징들(파란 노드)을 선택하는 증가적 부스팅 계층을 내장한다.
• 현재 및 이전에 부스팅된 특징들(파란 노드 + 빨간 노드)을 집계하여 증가적 강력 분류기를 구성한다.
• 약한 학습자의 가중치를 업데이트하고 뉴런을 활성화/비활성화하기 위해 AdaBoost 스타일 가중치를 사용한다(αj 및 λj).
• 네트워크를 미세조정하기 위해 강한 분류기 손실과 약한 분류기 손실을 결합한 복합 손실 εIB를 정의한다.
• 총 손실을 역전파하여 CNN 매개변수를 조정하고 여러 배치의 정보가 학습에 반영되도록 한다.
• SGD와 모멘텀으로 네 가지 AU 벤치마크(CK, SEMAINE, BP4D, DISFA)에서 학습 및 평가한다.

실험 결과

연구 질문

• RQ1 학습 데이터가 제한될 때 CNN 내의 점진적 부스팅이 AU 인식을 향상시킬 수 있는가?
• RQ2 미니배치 전반에 걸쳐 부스팅된 특징을 축적하면 과적합을 줄이고 보지 못한 피험자에 대한 일반화를 향상시킬 수 있는가?
• RQ3 강한 분류기 오차와 약한 분류기 오차를 결합한 제안된 손실이 강한 분류기 손실만 사용하는 것보다 미세조정에 더 나은 결과를 낳는가?
• RQ4 IB-CNN은 FC-레이어 노드 수 및 학습률과 같은 구조적 선택에 대해서도 견고한가?

주요 결과

• IB-CNN은 전통적 CNN과 비증분 부스팅 CNN(B-CNN)을 벤치마크 AU 데이터베이스 전반에서 능가한다.
• 향상은 특히 학습 샘플이 제한된 드문 AU에 대해 뚜렷하다.
• 복합 강+약 손실 εIB를 사용하면 강한 손실만 사용한 변형보다 성능이 더 좋다.
• IB-CNN은 부스팅 계층의 입력 뉴런 수 및 학습률 선택에 대해 견고함을 보인다.