[논문 리뷰] Committees of deep feedforward networks trained with few data

Bogdan Miclut, Thomas Kaester외 2명|arXiv (Cornell University)|2014. 06. 23.

Advanced Neural Network Applications참고 문헌 8인용 수 4

한 줄 요약

이 논문은 백프로파게이션 없이 완전히 비지도 학습 방식으로 계층별로 훈련된 얕은 딥 피드포워드 네트워크의 위원회를 제안하여 소규모 데이터셋에서 이미지 분류 성능을 향상시킨다. 데이터 증강(거울, 회전, 스케일링)을 통해 훈련된 다수의 네트워크를 조합하고 투표 방식을 사용함으로써, 이 방법은 두 층으로 구성된 네트워크와 선형 SVM를 사용하여 STL-10 데이터셋에서 68.0%의 정확도를 달성한다—기존 최고 성능 결과를 초월한다.

ABSTRACT

Deep convolutional neural networks are known to give good results on image classification tasks. In this paper we present a method to improve the classification result by combining multiple such networks in a committee. We adopt the STL-10 dataset which has very few training examples and show that our method can achieve results that are better than the state of the art. The networks are trained layer-wise and no backpropagation is used. We also explore the effects of dataset augmentation by mirroring, rotation, and scaling.

연구 동기 및 목표

• 소규모 레이블 데이터셋에서 이미지 분류 성능을 향상시키기 위해 위원회 방식으로 다수의 딥 피드포워드 네트워크를 조합하는 것.
• 백프로파게이션 없이 비지도 계층별 훈련 방식이 제한된 훈련 데이터로 이미지 인식 작업에서 경쟁 가능한 성능을 낼 수 있는지 탐색하는 것.
• 데이터 증강(거울, 회전, 스케일링)이 개별 네트워크 및 위원회 네트워크 성능에 미치는 영향을 평가하는 것.
• 다양한 네트워크 출력의 앙상블 평균화가 개별 네트워크 성능을 초월해 일반화 성능을 향상시키는지 여부를 확인하는 것.
• 간단한 얕은 아키텍처와 비지도 특징 학습을 통해 STL-10과 같은 벤치마크 데이터셋에서 최고 성능을 달성할 수 있는지 보여주는 것.

제안 방법

• 특징 추출은 계층별 비지도 훈련을 통해 수행되며, 입력 특징 맵에서 추출한 패치에 대해 k-means 군집화를 사용해 필터를 학습한다.
• 각 네트워크 계층은 패치 기반 전처리(정규화, ZCA 화이트닝), 학습된 필터를 통한 컨볼루션, 절대값 정규화, 局부 대trast 정규화를 거친다.
• 풀링은 일반화된 노름을 통해 수행되며, $ y = \left(\sum_i x_i^\alpha\right)^{1/\alpha} $로 표현되며, $ \alpha = 1 $ (평균 풀링)일 때 최적의 성능를 보였다.
• 계층 간 연결은 특징 맵을 무작위로 그룹화함으로써 차원을 압축하고 k-means 군집링 동안 수렴을 향상시킨다 (예: 4개의 그룹).
• 훈련 중에 입력 이미지를 거울, 회전, 스케일링하여 각 위원회 내 네트워크의 다양한 훈련 샘플을 생성함으로써 데이터 증강을 적용한다.
• 최종 분류는 모든 위원회 구성원의 정규화된 점수를 평균화하고 가장 높은 합계를 가진 클래스를 선택함으로써 수행된다.

실험 결과

연구 질문

• RQ1 비지도, 얕은 딥 피드포워드 네트워크의 위원회가 소규모 데이터 이미지 분류 작업에서 개별 네트워크를 능가할 수 있는가?
• RQ2 비지도 특징 학습과 결합했을 때 데이터 증강(거울, 회전, 스케일링)이 성능 향상에 뚜렷한 기여를 하는가?
• RQ3 백프로파게이션 없이 훈련된 다수의 네트워크에 대한 투표 방식이 개별 얕은 네트워크의 한계를 얼마나 효과적으로 완화할 수 있는가?
• RQ4 백프로파게이션 없이도 풀링 전략과 정규화 방법의 선택이 최종 분류 정확도에 어떤 영향을 미치는가?
• RQ5 백프로파게이션 기반 아키텍처 없이도 간단한 딥 네트워크 아키텍처가 최소한의 레이블 데이터로 STL-10 데이터셋에서 최고 성능을 달성할 수 있는가?

주요 결과

• 위원회 네트워크는 STL-10 데이터셋에서 68.0%의 상위-1 정확도를 달성하여 [6]에서 보고한 이전 최고 성능인 67.4%를 초월했다.
• 거울과 회전만을 사용한 데이터 증강으로도 위원회 네트워크는 67.39%의 정확도를 달성하여 비지도 환경에서의 증강 기법의 효과를 입증했다.
• 가장 성능이 뛰어난 개별 네트워크(N2)는 거울과 회전을 적용했을 때 64.59%의 정확도를 기록했지만, 위원회 방식을 통해 이는 68.0%로 향상되었으며, 앙상블 평균화의 일관된 성능 향상이 확인되었다.
• 평균 풀링($ \alpha = 1 $)이 일반화된 풀링 연산에서 최고의 성능를 보였으며, 이는 더 안정적인 특징 표현을 의미한다.
• ON-OFF 정규화(양성 및 음성 반응을 별도로 처리)는 거울을 적용했을 때 64.73%의 정확도를 기록했으며, 이는 비선형성 선택이 성능에 영향을 미치지만, 데이터 증강에 비해 영향이 덜 크다는 것을 시사한다.
• 위원회의 성능는 항상 개별 네트워크보다 뛰어났으며, 열 劣한 품질의 네트워크를 추가할 경우 성능이 포화 또는 약간 감소하는 경향을 보였으며, 이는 구성원의 다양성과 품질이 핵심임을 시사한다.