[논문 리뷰] Network of Experts for Large-Scale Image Categorization

Karim Ahmed, Mohammad Haris Baig외 1명|arXiv (Cornell University)|2016. 04. 20.

Advanced Neural Network Applications참고 문헌 31인용 수 21

한 줄 요약

이 논문은 대규모 이미지 분류를 위해 트리 구조를 가진 '전문가 네트워크'(NofE)를 제안한다. 여기서 공유된 컨볼루션 트렁크는 일반적인 특징을 학습하고, 유사한 클래스의 부분집합을 담당하는 전문화된 브랜치로 분할된다. 이 방법은 종단 간(class partitioning)과 모델 파라미터를 함께 학습하여, 계산 비용을 최소화하면서 CIFAR100에서 최신 기준 성능을 달성한다.

ABSTRACT

We present a tree-structured network architecture for large scale image classification. The trunk of the network contains convolutional layers optimized over all classes. At a given depth, the trunk splits into separate branches, each dedicated to discriminate a different subset of classes. Each branch acts as an expert classifying a set of categories that are difficult to tell apart, while the trunk provides common knowledge to all experts in the form of shared features. The training of our "network of experts" is completely end-to-end: the partition of categories into disjoint subsets is learned simultaneously with the parameters of the network trunk and the experts are trained jointly by minimizing a single learning objective over all classes. The proposed structure can be built from any existing convolutional neural network (CNN). We demonstrate its generality by adapting 4 popular CNNs for image categorization into the form of networks of experts. Our experiments on CIFAR100 and ImageNet show that in every case our method yields a substantial improvement in accuracy over the base CNN, and gives the best result achieved so far on CIFAR100. Finally, the improvement in accuracy comes at little additional cost: compared to the base network, the training time is only moderately increased and the number of parameters is comparable or in some cases even lower.

연구 동기 및 목표

• 복잡한 분류 작업을 전문화된 하位 문제로 분해하여 대규모 이미지 분류 정확도를 향상시키기.
• 기존의 CNN으로는 구분하기 어려운 유사한 클래스들의 최적의 데이터 기반 군집화(이하 '전문 분야')를 학습하기.
• 일반 전문가 네트워크에서 유도된 공유 특징을 활용하여 개별 전문가 브랜치의 미세조정 및 성능 향상시키기.
• 공유 트렁크와 전문화된 전문가 브랜치를 통합한 단일 모델의 종단 간 학습을 가능하게 하기.
• 이 방법이 모델 크기나 학습 시간을 크게 증가시키지 않으면서도 정확도를 향상시킬 수 있음을 입증하기.

제안 방법

• 공유된 컨볼루션 트렁크가 K개의 전문가 브랜치로 분할되는 트리 구조 네트워크를 사용하며, 각 브랜치는 상호배타적인 클래스 부분집합을 담당한다.
• 일반 전문가 네트워크는 먼저 K개의 '전문 분야' 그룹으로 이미지를 분류하도록 훈련되며, 클래스의 분할 방식은 네트워크 가중치와 함께 단일 손실 함수를 통해 동시에 학습된다.
• 일반 전문가를 훈련한 후, 최종 컨볼루션 레이어를 특징 트렁크로 사용하고, K개의 별도 전문가 브랜치를 연결하며, 각 브랜치는 클래스 부분집합에서 훈련된다.
• 전체 NofE 모델은 원래의 C개 클래스에 대한 전역 소프트맥스 레이어를 사용하여 종단 간으로 미세조정되며, 모든 파라미터가 함께 업데이트된다.
• 기존의 어떤 CNN 아키텍처와도 호환되며, 마지막 완전 연결 레이어를 전문화된 전문가 아키텍처로 교체함으로써 적용 가능하다.
• 표준 데이터 증강 및 학습률 스케줄링을 사용하며, 일반 전문가를 먼저 훈련하고, 이후 전문가들을 통합 최적화 과정에서 후속으로 미세조정한다.

실험 결과

연구 질문

• RQ1 데이터 기반의 클래스 분할을 통해 '전문 분야'로 나누는 것이 미세한 이미지 인식 작업의 분류 정확도를 향상시킬 수 있는가?
• RQ2 전문가들 간에 공통된 특징 트렁크를 공유하면, 전문가를 처음부터 훈련하는 것보다 더 나은 일반화 성능과 더 빠른 수렴을 이끌 수 있는가?
• RQ3 제안된 종단 간 학습 방식이 클래스 군집화와 네트워크 파라미터를 함께 최적화하여 기존의 CNN을 초월할 수 있는가?
• RQ4 NofE 아키텍처는 더 높은 정확도를 달성하면서도 모델 복잡도를 유지하거나 감소시킬 수 있는가?
• RQ5 CIFAR100 및 ImageNet과 같은 표준 벤치마크에서 NofE 방법은 최신 기준 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• 전문가 네트워크(NofE)는 CIFAR100에서 상위-1 정확도 87.3%를 달성하여, 출판 당시 최신 기준 성능을 수립했다.
• 이 방법은 AlexNet, VGG, ResNet, GoogLeNet 등 네 가지 다른 아키텍처에 적용했을 때 기반 CNN보다 정확도가 향상되었다.
• NofE 모델은 훈련 시간에 다소 증가했지만, 기반 모델과 비교해 파라미터 수는 유사하거나 감소한 상태에서 이 정확도 향상을 달성했다.
• 일반 전문가의 특징에서 NofE를 미세조정하면, 무작위 또는 ImageNet 사전 훈련 초기화보다 훨씬 뛰어난 성능을 보였으며, 공유 트렁크의 가치를 입증했다.
• 이 방법은 기존 CNN의 마지막 완전 연결 레이어를 트리 구조 전문가 아키텍처로 교체함으로써 일반적으로 적용 가능하다.
• 제거 분석 결과, 전문 분야와 일반 전문가의 공동 학습이 핵심임을 확인하였으며, 일반 전문가를 별도로 훈련하는 것은 열등한 성능을 초래한다.