[논문 리뷰] Hyperparameter Optimization and Boosting for Classifying Facial Expressions: How good can a "Null" Model be?

James Bergstra, David Cox|arXiv (Cornell University)|2013. 06. 14.

Face and Expression Recognition참고 문헌 13인용 수 17

한 줄 요약

이 논문은 'Null 모델'—랜덤 필터를 가진 합성곱 신경망, 주성분 분석(PCA), 풀링, 정규화를 포함한 모델—을 사용한 하이퍼파rameter 최적화 및 부스팅 프레임워크를 제시한다. 자동 TPE 최적화를 통해 얼굴 표정 인식 챌린지에서 60%의 정확도를 달성하였으며, 최적화된 네 개의 모델을 앙상블함으로써 65.5%의 정확도에 도달하여 총 56명의 참가자 중 5위를 기록하였다. 이는 새로운 아키텍처나 역전파 없이도 체계적인 하이퍼파rameter 튜닝을 통해 뛰어난 성능을 달성할 수 있음을 보여준다.

ABSTRACT

One of the goals of the ICML workshop on representation and learning is to establish benchmark scores for a new data set of labeled facial expressions. This paper presents the performance of a "Null" model consisting of convolutions with random weights, PCA, pooling, normalization, and a linear readout. Our approach focused on hyperparameter optimization rather than novel model components. On the Facial Expression Recognition Challenge held by the Kaggle website, our hyperparameter optimization approach achieved a score of 60% accuracy on the test data. This paper also introduces a new ensemble construction variant that combines hyperparameter optimization with the construction of ensembles. This algorithm constructed an ensemble of four models that scored 65.5% accuracy. These scores rank 12th and 5th respectively among the 56 challenge participants. It is worth noting that our approach was developed prior to the release of the data set, and applied without modification; our strong competition performance suggests that the TPE hyperparameter optimization algorithm and domain expertise encoded in our Null model can generalize to new image classification data sets.

연구 동기 및 목표

• 랜덤 필터와 표준 전처리를 적용한 단순한, 학습 기반이 아닌 모델(Null 모델)이 새로운 이미지 분류 벤치마크에서 경쟁 가능한 성능을 내는지 평가하기 위해.
• 새로운 데이터셋에 대해 자동 하이퍼파arameter 최적화가 전문가의 직관을 초월할 수 있는지 조사하기 위해.
• 하이퍼파arameter 최적화된 기본 학습기들을 앙상블하는 데 사용할 수 있는 새로운 부스팅 알고리즘(HyperBoost)을 개발하고 적용하기 위해.
• 데이터 공개 이전에 설계된 모델 공간이 새로운 이미지 분류 작업에 효과적으로 일반화되는지 평가하기 위해.

제안 방법

• 1, 2, 3층의 합성곱 신경망에 대해, 균근분포 또는 PCA 기반 투영에서 유도된 랜덤 필터를 사용한 총 238개의 조건부 하이퍼파aram터로 구성된 구성 공간을 정의하였다.
• 모델 파이프라인은 이미지 스케일링, 아핀 왜곡, 필터뱅크 정규화 교차상관관계, 국소 풀링, 이중히스토그램 공간 풀링, L2-SVM 분류기로 구성되었다.
• Hyperopt의 트리 기반 파르젠 추정기(TPE)를 사용하여 구성 공간 내에서 베이지안 하이퍼파aram터 최적화를 수행하였으며, 라운드당 1,000개의 비퇴화된 구성 설정을 선택하였다.
• 하이퍼파aram터 최적화된 모델을 약한 학습기로 간주하는 새로운 부스팅 알고리즘인 HyperBoost를 도입하였으며, 순차적으로 선택하고 조합하여 테스트 정확도를 향상시켰다.
• 앙상블 구축은 허프 막대 손실 기반의 부스팅 접근법을 사용하였으며, 훈련 정확도를 유지하면서도 테스트 성능을 반복적으로 향상시켰다.
• 모든 실험은 단일 머신에서 4개의 GPU를 사용하여 수행되었으며, 느린 파일 시스템을 사용하였고, 훈련 전에 구성 설정의 퇴화 여부를 검증하였다.

실험 결과

연구 질문

• RQ1 역전파나 비지도 사전학습 없이도 랜덤 필터와 표준 전처리를 적용한 'Null 모델'이 새로운 이미지 분류 작업에서 경쟁 가능한 성능을 내는가?
• RQ2 자동 하이퍼파aram터 최적화(TPE)가 새로운 데이터셋에 대해 인간의 직관을 초월할 정도로 모델 선택에서 얼마나 뛰어난 성능을 내는가?
• RQ3 하이퍼파aram터 최적화된 모델의 부스팅 기반 앙상블이 최고의 개별 모델을 훨씬 뛰어나게 일반화 성능을 향상시킬 수 있는가?
• RQ4 데이터 공개 이전에 설계된 모델 공간이 새로운 이미지 분류 벤치마크에 얼마나 잘 일반화되는가?
• RQ5 높은 용량의 기본 학습기(예: 9,000개의 특징)에서 발생하는 과적합의 영향은 부스팅을 통해 조합할 경우 어떻게 나타나는가?

주요 결과

• 하이퍼파aram터 최적화를 적용한 Null 모델은 얼굴 표정 인식 챌린지에서 60%의 테스트 정확도를 달성하여 총 56명의 참가자 중 12위를 기록하였다.
• HyperBoost를 통해 구성된 네 개의 모델 앙상블은 65.5%의 정확도를 기록하여 대회에서 총 5위를 기록하였다.
• 개별 모델의 훈련 정확도는 85%에서 97% 사이로 나타나 강한 과적합이 있었지만, 앙상블은 높은 일반화 성능를 유지하였다.
• 모델과 훈련 파이프라인이 데이터 공개 이전에 설계되었으며, 수정 없이 적용되었으며, 이는 뛰어난 일반화 능력을 보여주었다.
• 앙상블의 성능는 어떤 개별 모델보다도 뚜렷하게 뛰어나, HyperBoost가 최적화된 기본 학습기를 효과적으로 조합할 수 있음을 확인하였다.
• 결과적으로 하이퍼파aram터 최적화와 앙상블 구성은 역전파나 RBM과 같은 고급 딥러닝 구성 요소 없이도 높은 성능을 낼 수 있음을 시사한다.