[논문 리뷰] Collaborative Layer-wise Discriminative Learning in Deep Neural Networks

Xiaojie Jin, Yunpeng Chen외 3명|arXiv (Cornell University)|2016. 07. 19.

Remote-Sensing Image Classification참고 문헌 35인용 수 4

한 줄 요약

이 논문은 다양한 레이어에 다수의 분류기를 도입하여 분류 성능을 공동으로 최적화하는 협동 계층별 분류 학습(Collaborative Layer-wise Discriminative Learning, CLDL)을 제안한다. 각 레이어가 아직 확신 있게 분류되지 않은 샘플에 집중할 수 있도록 함으로써 계층적 특징 간의 분류 능력을 향상시키며, 아키텍처 변경 없이 CIFAR100, MNIST, ImageNet, MIT67, SUN397, Places205에서 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

Intermediate features at different layers of a deep neural network are known to be discriminative for visual patterns of different complexities. However, most existing works ignore such cross-layer heterogeneities when classifying samples of different complexities. For example, if a training sample has already been correctly classified at a specific layer with high confidence, we argue that it is unnecessary to enforce rest layers to classify this sample correctly and a better strategy is to encourage those layers to focus on other samples. In this paper, we propose a layer-wise discriminative learning method to enhance the discriminative capability of a deep network by allowing its layers to work collaboratively for classification. Towards this target, we introduce multiple classifiers on top of multiple layers. Each classifier not only tries to correctly classify the features from its input layer, but also coordinates with other classifiers to jointly maximize the final classification performance. Guided by the other companion classifiers, each classifier learns to concentrate on certain training examples and boosts the overall performance. Allowing for end-to-end training, our method can be conveniently embedded into state-of-the-art deep networks. Experiments with multiple popular deep networks, including Network in Network, GoogLeNet and VGGNet, on scale-various object classification benchmarks, including CIFAR100, MNIST and ImageNet, and scene classification benchmarks, including MIT67, SUN397 and Places205, demonstrate the effectiveness of our method. In addition, we also analyze the relationship between the proposed method and classical conditional random fields models.

연구 동기 및 목표

• 간단하거나 중수준 패턴에 대해 하위 및 중간 레이어에서 이미 분류 정보를 포함하고 있음에도 불구하고, 딥 네트워크의 계층적 특징이 제대로 활용되지 않는 문제를 해결한다.
• 기존 방법이 상단 레이어의 특징에만 의존하여 하위 및 중간 레이어의 보완적 분류 능력을 간과하는 한계를 극복한다.
• 다양한 레이어의 분류기가 상호 협력하여 서로 다른 어려운 분류 샘플에 집중하도록 하여 전체 분류 정확도를 향상시킨다.
• 표준 backpropagation와 호환되는 플러그인 형식의 훈련 방법을 개발하여, VGGNet, GoogLeNet, NIN 등의 최신 기준 네트워크를 아키텍처 수정 없이 향상시킬 수 있도록 한다.

제안 방법

• 딥 네트워크의 서로 다른 레이어 위에 다수의 분류기를 도입하며, 각 분류기는 해당 레이어의 특징을 입력으로 받는다.
• 각 샘플의 진짜 레이블 외에도 다른 분류기의 예측 점수를 보조 지도로 포함하는 새로운 CLDL 손실 함수를 설계한다.
• 각 분류기가 다른 분류기의 신뢰도에 따라 동적으로 집중 영역을 조정하여, 아직 충분히 확신되지 않은 샘플에 우선순위를 두도록 한다.
• 모든 분류기와 특징 추출기들이 공동으로 최적화될 수 있도록, backpropagation을 사용해 전체 네트워크를 엔드 투 엔드로 훈련한다.
• 모든 레이어에서의 최종 분류 성능를 극대화하는 공동 최적화 목표로 협동 학습을 수식화한다.
• 레이어 간의 조건부 랜덤 필드(CRF) 구조와 동치임을 증명하여, 협동 메커니즘에 대한 확률적 해석을 제공한다.

실험 결과

연구 질문

• RQ1 딥 네트워크의 서로 다른 레이어에 위치한 다수의 분류기가 상호 보완적인 샘플에 집중함으로써 분류 성능을 공동으로 향상시킬 수 있는가?
• RQ2 레이어 간 협동 학습은 상단 레이어의 특징만 사용하는 것보다 더 나은 분류 특징 활용을 이끌어낼 수 있는가?
• RQ3 제안된 방법은 아키텍처 변경 없이 기존 딥 네트워크에 효과적으로 통합될 수 있는가?
• RQ4 CLDL의 성능는 다양한 벤치마크, 특히 객체 및 장면 분류 작업에서 최신 기준 모델과 비교해 어떻게 되는가?
• RQ5 구조 및 최적화 측면에서 CLDL은 전통적인 CRF 모델과 어떤 관계가 있는가?

주요 결과

• CLDL-VGGNet-11은 MIT67에서 84.69%의 정확도를 기록하여 이전 최신 기준인 DAG-CNN의 77.50%를 7.19%p 초월했다.
• SUN397에서 CLDL-VGGNet-16는 더 적은 레이어를 사용했음에도 불구하고 DAG-CNN을 14.2%p 초월하는 70.40%의 정확도를 달성했다.
• Places205에서 CLDL-VGGNet-11은 상위 1 정확도 88.67%를 기록하여 원본 Places205-VGGNet-11의 1.07% 초월했으며, 더 깊은 VGGNet-13 및 VGGNet-16 모델을 모두 뛰어넘었다.
• 시험한 여섯 가지 벤치마크(CIFAR100, MNIST, ImageNet, MIT67, SUN397, Places205) 전반에서 최신 기준 성능을 달성했다.
• CLDL는 훈련에서부터 시작하는 데 계산 비용이 매우 높은 대규모 데이터셋인 Places205에서도, 사전 학습된 모델에 협동 분류기를 적용하여 미세조정함으로써 성능을 크게 향상시켰다.
• 제거 실험을 통해, 서로의 신뢰도에 기반해 다른 샘플에 집중하는 분류기 간의 협동 메커니즘이 성능 향상의 핵심 요소임을 확인했다.