[논문 리뷰] HD-CNN: Hierarchical Deep Convolutional Neural Network for Large Scale Visual Recognition

Zhicheng Yan, Hao Zhang외 5명|arXiv (Cornell University)|2014. 10. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 48인용 수 41

한 줄 요약

이 논문은 계층적 딥 컨volution 신경망인 HD-CNN를 제안하며, 계층적 분류 구조를 통해 대규모 이미지 분류 성능을 향상시킨다. 이는 구성 요소 별 사전 훈련과 일致성 정규화를 사용한 전역 미세조정을 통해 이루어지며, 조건부 실행과 계층 파라미터 압축을 통해 상위 1위 오차를 표준 CNN 대비 최대 3.1% 감소시킨다.

ABSTRACT

In image classification, visual separability between different object categories is highly uneven, and some categories are more difficult to distinguish than others. Such difficult categories demand more dedicated classifiers. However, existing deep convolutional neural networks (CNN) are trained as flat N-way classifiers, and few efforts have been made to leverage the hierarchical structure of categories. In this paper, we introduce hierarchical deep CNNs (HD-CNNs) by embedding deep CNNs into a category hierarchy. An HD-CNN separates easy classes using a coarse category classifier while distinguishing difficult classes using fine category classifiers. During HD-CNN training, component-wise pretraining is followed by global finetuning with a multinomial logistic loss regularized by a coarse category consistency term. In addition, conditional executions of fine category classifiers and layer parameter compression make HD-CNNs scalable for large-scale visual recognition. We achieve state-of-the-art results on both CIFAR100 and large-scale ImageNet 1000-class benchmark datasets. In our experiments, we build up three different HD-CNNs and they lower the top-1 error of the standard CNNs by 2.65%, 3.1% and 1.1%, respectively.

연구 동기 및 목표

• 대규모 이미지 분류에서 일부 클래스 간 시각적 가시성의 불균형 문제를 해결하기 위해, 일부 클래스는 본질적으로 더 구분하기 어려운 경향이 있음을 고려한다.
• 기존 표준 CNN의 평탄한 N-방향 분류기의 한계를 극복하기 위해, 계층적 관계를 고려하지 않고 모든 카테고리를 동일하게 취급한다는 점을 개선한다.
• 어려운 클래스를 전용 미세 분류기로 동적으로 라우팅할 수 있는 확장성 있고 효율적이며 정확한 계층적 딥 CNN 아키텍처를 설계한다.
• 구성 요소 별 사전 훈련과 거시적 카테고리 일치 정규화를 사용한 전역 미세조정을 결합하여 계층적 모델의 효과적인 훈련을 가능하게 한다.
• 계층 파라미터 압축과 조건부 실행을 통해 추론 비용과 메모리 사용량을 줄인다.

제안 방법

• HD-CNN는 이미지 분류를 이중 단계 과정으로 구조화한다: 먼저 거시적 카테고리 분류기가 쉽게 구분 가능한 클래스를 분리하고, 구분하기 어려운 클래스는 전용 미세 카테고리 분류기로 라우팅한다.
• 모듈러 디자인을 사용하여 각 구성 요소(거시적 및 미세 분류기)가 ImageNet-NIN 또는 VGG-16층과 같은 사전 훈련된 기본 빌딩 블록 기반으로 구성된다.
• 개별 거시적 및 미세 분류기에서 구성 요소 별 사전 훈련을 수행한 후, 거시적 카테고리 일치 항목을 정규화한 다항 로지스틱 손실을 사용해 공동 전역 미세조정을 수행한다.
• 조건부 실행을 구현하여 입력에 따라 필요한 경우에만 미세 분류기가 활성화되도록 하여 추론 시간과 메모리 사용량을 줄인다.
• 고파rameter 레이어(예: fc6, fc7)에 대해 저랭크 근사와 하이퍼파라미터(s,k)를 사용한 계층 파라미터 압축을 적용하여 메모리 사용량을 줄이고 정확도 저하를 최소화한다.
• 최종 HD-CNN는 수준 간 확률적 통합을 통해 예측을 통합함으로써 전체 정확도를 향상시키면서도 확장성을 유지한다.

실험 결과

연구 질문

• RQ1 카테고리 계층을 활용함으로써 계층적 CNN 아키텍처가 대규모 시각 인식 벤치마크에서 분류 정확도를 향상시킬 수 있는가?
• RQ2 구성 요소 분류기가 별도로 사전 훈련된 후 공동으로 미세조정되는 경우, 계층적 딥 CNN을 효과적으로 훈련할 수 있는가?
• RQ3 거시적 카테고리 일치 정규화는 계층적 CNN의 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 파라미터 압축과 조건부 실행을 통해 계층적 CNN이 정확도 손실 없이 대규모 데이터셋에 대해 확장 가능한가?
• RQ5 HD-CNN는 정확도, 추론 효율성, 메모리 사용량 측면에서 표준 평탄한 CNN과 앙상블 방법보다 우수한가?

주요 결과

• ImageNet-NIN 빌딩 블록을 사용할 때, 표준 CNN 기반 모델 대비 CIFAR100에서 상위 1위 오차를 2.65% 감소시켰다.
• ImageNet 1000개 클래스 데이터셋에서 HD-CNN는 상위 1위 오차 36.66%와 상위 5위 오차 15.80%를 기록했으며, 기반 ImageNet-NIN 모델 대비 상위 1위 오차 3.1% 감소를 달성했다.
• VGG-16층 빌딩 블록을 사용할 경우, 원본 모델 대비 상위 1위 오차 1.1% 감소 및 상위 5위 오차 0.74% 감소를 기록했다.
• 파라미터 압축을 통해 ImageNet-NIN 기반 HD-CNN의 메모리 사용량을 3508MB에서 1712MB로 감소시켰으며, 상위 5위 오차는 오직 0.14% 증가에 그쳤다.
• 84개의 미세 카테고리 분류기와 압축된 레이어를 갖춘 HD-CNN는 세 개의 기본 ImageNet-NIN 네트워크 앙상블보다 더 뛰어난 성능을 보였으며, 상위 5위 오차는 1.31% 낮았다.
• 미세 분류기의 조건부 실행은 계산 비용을 줄였고, fc6 레이어 파라미터를 29.9배 압축한 경우에도 높은 정확도를 유지했다.