[논문 리뷰] Horizontal and Vertical Ensemble with Deep Representation for Classification

Jingjing Xie, Bing Xu외 1명|arXiv (Cornell University)|2013. 06. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 10인용 수 53

한 줄 요약

이 논문은 제한된 레이블 데이터와 풍부한 비라벨 데이터를 활용하여 딥 네ural 네트워크 분류 성능을 향상시키기 위해 수평 투표(Horizontal Voting), 수직 투표(Vertical Voting), 수평 스타킹 앙상블(Horizontal Stacked Ensemble) 방법을 제안한다. 중간층 표현을 활용하고 학습 에포크 동안 예측에 대해 앙상블 투표를 수행함으로써, 이 방법들은 강건성과 정확도를 크게 향상시키며, ICML 2013 블랙박스 챌린지의 공개 테스트 세트에서 68.54%의 정확도를 기록하여 상위 성능 중 하나를 달성한다.

ABSTRACT

Representation learning, especially which by using deep learning, has been widely applied in classification. However, how to use limited size of labeled data to achieve good classification performance with deep neural network, and how can the learned features further improve classification remain indefinite. In this paper, we propose Horizontal Voting Vertical Voting and Horizontal Stacked Ensemble methods to improve the classification performance of deep neural networks. In the ICML 2013 Black Box Challenge, via using these methods independently, Bing Xu achieved 3rd in public leaderboard, and 7th in private leaderboard; Jingjing Xie achieved 4th in public leaderboard, and 5th in private leaderboard.

연구 동기 및 목표

• 소수의 레이블된 예제가 있을 때 딥 네ural 네트워크 분류 성능을 향상시키는 것.
• 딥 아키텍처에서 유도된 계층적 표현이 최종층 특징을 초월해 분류 성능을 향상시키는지 조사하는 것.
• 다양한 표현과 예측 포인트를 활용하는 앙상블 전략을 개발하여 강건성과 정확도를 향상시키는 것.
• 저데이터 환경에서 수직 및 수평 앙상블 기법의 효과성을 평가하는 것.
• 실제 분류 과제에서 딥 네트워크 앙상블의 최적 조합 전략을 규명하는 것.

제안 방법

• 수직 투표는 딥 네트워크의 중간층 표현(예: h5, h6, h7)에 대해 별도의 분류기를 훈련하며, 각 층에서 추출한 특징에 랜덤 포레스트 또는 유사 알고리즘을 적용한다.
• 수평 투표는 동일한 네트워크의 여러 학습 에포크(예: 650–850)에서의 예측을 수집한 후, 투표를 통해 앙상블하여 분산과 과적합을 줄인다.
• 수평 스타킹 앙성은 다양한 초모수 또는 초기화로 훈련된 여러 모델의 예측을 결합하며, 소프트맥스 출력에 메타-분류기(예: 랜덤 포레스트)를 적용한다.
• 딥 네트워크는 13만 개의 비라벨 예제를 사용해 5개의 디노이징 오토에인코더를 통해 사전 훈련한 후, 확률적 경사 하강법을 사용해 1,000개의 레이블된 예제로 미세조정한다.
• 앙상블 방법은 여러 모델 또는 에포크의 소프트맥스 확률 출력에 대해 투표 또는 메타학습을 적용하여 일반화 능력을 향상시킨다.
• 이 프레임워크는 비지도 사전 훈련과 지도 미세조정을 통합하며, 깊이 및 학습 시간에 걸쳐 다양한 표현을 활용한다.

실험 결과

연구 질문

• RQ1 딥 네트워크의 중간층 표현이 최종층 특징을 초월해 분류 성능을 향상시킬 수 있는가?
• RQ2 다른 학습 에포크에서의 예측을 앙상블하는 것(수평 투표)이 분산을 줄이고 강건성을 향상시키는가?
• RQ3 수직 앙성(다양한 층)과 수평 앙성(다양한 에포크)을 결합하는 것이 저데이터 환경에서 얼마나 효과적인가?
• RQ4 소프트맥스 출력에 기반한 메타-앙성 모델이 저데이터 시나리오에서 개별 딥 네트워크를 능가할 수 있는가?
• RQ5 깊이 및 학습 시간에 걸친 표현 다양성이 최종 분류 정확도에 미치는 영향은 무엇인가?

주요 결과

• 수평 투표는 공개 테스트 세트에서 68.22%의 정확도를 기록했고, 사설 테스트 세트에서는 67.24%를 기록하여 개별 모델을 초월했다.
• 최고의 전체 결과는 200개의 소프트맥스 출력에 랜덤 포레스트 메타-앙성 모델을 적용한 Model 6를 통해 달성되었으며, 공개 테스트 세트에서 68.54%, 사설 테스트 세트에서 67.44%의 정확도를 기록했다.
• 수평 투표만을 사용한 Model 4는 공개 테스트 세트에서 가장 높은 정확도(68.22%)를 기록했으며, ICML 2013 블랙박스 챌린지에서 상위 입상에 포함되었다.
• 수직 투표는 성능이 일관되지 않아 일부 경우에서 향상되었지만 안정적이지 않았으며, 수평 투표와 조합할 경우 과적합이 발생해 사설 세트 성능이 떨어졌다.
• 다른 학습 에포크에서 유도된 200개의 예측 앙성은 오차율 진동을 크게 줄였고 일반화 능력을 향상시켜 시간적 다양성의 가치를 입증했다.
• 딥 표현과 수평 투표를 조합하는 방법이 특히 저데이터 환경에서 수직 투표나 하이브리드 접근보다 더 효과적인 것으로 나타났다.