[논문 리뷰] Learning Convolutional Neural Networks using Hybrid Orthogonal Projection and Estimation

Hengyue Pan, Hui Jiang|arXiv (Cornell University)|2016. 06. 20.

Image Processing Techniques and Applications인용 수 8

한 줄 요약

이 논문은 특성 추출 시 직교성을 강제하여 컨volutional 신경망(CNNs)의 성능을 햖스키기 위해 하이브리드 직교 투영 및 추정(HOPE)을 제안한다. 두 가지 변형—HOPE-Input(입력 레이어 이후 적용)과 HOPE-Pooling(기본 풀링 레이어 대체)—을 도입하여 특성 상관관계와 노이즈를 감소시켰으며, 데이터 증강 없이 CIFAR-10 및 CIFAR-100에서 최신 기술 수준의 상위 3위 오차율을 달성하였다.

ABSTRACT

Convolutional neural networks (CNNs) have yielded the excellent performance in a variety of computer vision tasks, where CNNs typically adopt a similar structure consisting of convolution layers, pooling layers and fully connected layers. In this paper, we propose to apply a novel method, namely Hybrid Orthogonal Projection and Estimation (HOPE), to CNNs in order to introduce orthogonality into the CNN structure. The HOPE model can be viewed as a hybrid model to combine feature extraction using orthogonal linear projection with mixture models. It is an effective model to extract useful information from the original high-dimension feature vectors and meanwhile filter out irrelevant noises. In this work, we present three different ways to apply the HOPE models to CNNs, i.e., {\em HOPE-Input}, {\em single-HOPE-Block} and {\em multi-HOPE-Blocks}. For {\em HOPE-Input} CNNs, a HOPE layer is directly used right after the input to de-correlate high-dimension input feature vectors. Alternatively, in {\em single-HOPE-Block} and {\em multi-HOPE-Blocks} CNNs, we consider to use HOPE layers to replace one or more blocks in the CNNs, where one block may include several convolutional layers and one pooling layer. The experimental results on both Cifar-10 and Cifar-100 data sets have shown that the orthogonal constraints imposed by the HOPE layers can significantly improve the performance of CNNs in these image classification tasks (we have achieved one of the best performance when image augmentation has not been applied, and top 5 performance with image augmentation).

연구 동기 및 목표

• 표준 CNN 아키텍처에 하이브리드 직교 투영 및 추정(HOPE) 프레임워크를 통합하여 특성 표현을 향상시키는 것.
• 특성 투영 레이어에 직교 제약 조건을 적용할 경우 CNN 성능이 이미지 분류 작업에서 어떻게 향상되는지 조사하는 것.
• HOPE를 CNN의 다양한 단계에 적용했을 때의 효과를 평가하는 것—특히, 입력 변환(HOPE-Input) 또는 풀링 대체(HOPE-Pooling)로 적용했을 때.
• HOPE 기반 모델을 베이스라인 CNN 및 다른 최신 기술 아키텍처와 비교하여, 데이터 증강 없이 CIFAR-10 및 CIFAR-100에서 평가하는 것.
• HOPE 레이어의 계산 효율성을 GPU 하드웨어에서의 학습 속도 및 자원 사용 측면에서 평가하는 것.

제안 방법

• 입력 이후 바로 HOPE를 선형 직교 투영 레이어로 적용하여 고차원 입력 특성의 상관관계를 제거함(HOPE-Input).
• 표준 최대 풀링 또는 평균 풀링 레이어를 대체하기 위해, 직교 투영을 통해 차원을 감소시키면서 유용한 정보를 유지하는 HOPE 레이어를 도입함(HOPE-Pooling).
• 손실 함수에 페널티 항을 사용하여 HOPE 레이어의 투영 행렬에 직교 제약 조건을 강제하여 학습 중에 변환 행렬이 정규직교 행렬을 유지하도록 함.
• HOPE 프레임워크 하에서 최대우도추정과 최소 교차엔트로피 학습을 사용하여 백프로파게이션을 통해 CNN을 학습시키며, 투영 레이어에서의 직교성을 유지함.
• 학습 가능한 스케일링 인자 β를 가진 매개변수화된 직교 행렬을 사용하여 HOPE 레이어를 구현하고, 매 25 에포크마다 업데이트하여 수렴을 향상시킴.
• 모든 모델을 고정된 초모수를 사용한 미니배치 SGD로 학습: 초기 학습률(LR)=0.06, 매 25 에포크마다 반으로 감소, 모멘타임=0.9, 가중치 감쇠=0.0005, 모든 가중치에 He 초기화를 적용함.

실험 결과

연구 질문

• RQ1 HOPE 프레임워크는 컨volutional 신경망에 효과적으로 적용되어 이미지 분류 성능을 향상시킬 수 있는가?
• RQ2 HOPE를 통해 특성 투영 레이어에 직교성을 강제할 경우, 표준 CNN과 비교해 더 나은 일반화 성능과 낮은 오차율을 달성할 수 있는가?
• RQ3 CIFAR-10 및 CIFAR-100에서 분류 정확도와 내구성 측면에서 HOPE-Input과 HOPE-Pooling의 성능는 어떻게 비교되는가?
• RQ4 CNN에 HOPE 레이어를 통합할 경우 계산 오버헤드는 얼마이며, GPU 하드웨어에서 여전히 효율적인가?
• RQ5 HOPE 기반 CNN은 데이터 증강 없이도 소규모 벤치마크인 CIFAR-10 및 CIFAR-100에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• HOPE-Input + HOPE-Pooling CNN은 CIFAR-10에서 상위 3위 오차율 7.57%와 CIFAR-100에서 29.80%를 기록하여, 데이터 증강 없이도 최신 기술 수준의 성능이다.
• HOPE-Input는 CIFAR-10에서 오차율을 8.30%(베이스라인)에서 7.81%로 감소시켰고, CIFAR-100에서는 30.71%에서 29.96%로 감소시켜 일관된 향상을 보였다.
• HOPE-Pooling은 CIFAR-10에서 8.21% 오차율, CIFAR-100에서는 30.60% 오차율을 기록하여, 베이스라인 및 LIN-Pooling 설정을 모두 초월했다.
• HOPE-Input과 HOPE-Pooling의 조합가 가장 우수한 전체 성능을 기록했으며, ALL-CNN, Maxout, Network in Network와 같은 잘 알려진 모델들을 능가했다.
• HOPE 기반 모델의 학습 속도(초당 190~208장)는 베이스라인 모델(초당 220장)과 비교해 약간 느렸지만, 계산 오버헤드가 거의 없음을 시사했다.
• 직교 제약 조건이 없는 LIN-버전 모델은 항상 그에 상응하는 HOPE 모델보다 성능이 열등했으며, 이는 특성 학습에서 강제된 직교성의 유용성을 확인한다.