[논문 리뷰] Learning Discriminative Features via Label Consistent Neural Network

Zhuolin Jiang, Yaming Wang외 3명|arXiv (Cornell University)|2016. 02. 03.

Human Pose and Action Recognition참고 문헌 37인용 수 5

한 줄 요약

이 논문은 '판별적 표현 오차' 손실을 통해 후기 은닉층에서 레이블 일관성을 강제함으로써 특징의 판별 능력을 향상시키는 딥 러닝 프레임워크인 레이블 일관성 신경망(LCNN)을 제안한다. 이 손실을 표준 분류 손실과 조합함으로써 LCNN는 수렴 속도를 향상시키고 기울기 소실 문제를 줄이며, 행동 및 객체 인식 벤치마크에서 최신 기술 수준의 성능을 달성한다. 이는 학습된 특징에 대해 단순한 k-NN 분류기조차도 효과적으로 작동시킨다.

ABSTRACT

Deep Convolutional Neural Networks (CNN) enforces supervised information only at the output layer, and hidden layers are trained by back propagating the prediction error from the output layer without explicit supervision. We propose a supervised feature learning approach, Label Consistent Neural Network, which enforces direct supervision in late hidden layers. We associate each neuron in a hidden layer with a particular class label and encourage it to be activated for input signals from the same class. More specifically, we introduce a label consistency regularization called "discriminative representation error" loss for late hidden layers and combine it with classification error loss to build our overall objective function. This label consistency constraint alleviates the common problem of gradient vanishing and tends to faster convergence; it also makes the features derived from late hidden layers discriminative enough for classification even using a simple $k$-NN classifier, since input signals from the same class will have very similar representations. Experimental results demonstrate that our approach achieves state-of-the-art performances on several public benchmarks for action and object category recognition.

연구 동기 및 목표

• 표준 CNN의 한계를 해결하기 위해, 은닉층에서 명시적 지도 학습이 부족하고, 특히 훈련 데이터가 제한적일 경우 기울기 소실 문제와 느린 수렴 속도를 겪는 점을 다루기 위해.
• 후기 은닉층에서 학습된 특징의 판별 능력을 향상시키기 위해 뉴런을 클래스 레이블과 직접 연결함으로써.
• 표현을 클래스별로 특화하고 압축함으로써, 후기 은닉층의 특징만으로도 높은 성능의 분류를 달성할 수 있도록 하여 단순한 k-NN 분류기조차도 효과적으로 사용할 수 있도록 하기 위해.
• 기존 딥 네트워크 아키텍처에 쉽게 통합될 수 있는 일반화 가능한 방법을 제공함으로써, 시각 작업에서의 성능 향상을 위해.

제안 방법

• 후기 은닉층의 각 뉴런이 유일하게 해당 클래스 레이블에 속하는 입력에서만 활성화되도록 유도하는 '판별적 표현 오차' 손실을 도입한다.
• 은닉층의 각 뉴런을 특정 클래스와 연결하고, 다른 클래스의 입력에 대해 활성화가 발생할 경우 이를 벌점 처리함으로써 레이블 일관성을 강제한다.
• 판별적 표현 오차 손실을 표준 크로스 엔트로피 분류 손실과 조합하여 종단 간 훈련을 위한 공동 목적 함수를 구성한다.
• 하이퍼파라미터 조정을 통해 정규화 강도를 최적화하여, 후기 완전 연결 및 컨볼루션 계층(예: fc7, Pool5)에 이 방법을 적용한다.
• 기준 네트워크(예: GoogLeNet, AlexNet, VGGNet)와 동일한 훈련 프rotocol를 사용하지만, 레이블 일관성 지도 학습을 추가하여 특징 품질을 향상시킨다.
• 결합된 손실 함수를 사용한 표준 백프로파게이션을 적용하여, 기존의 모든 CNN 프레임워크에 쉽게 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 레이블 일관성에 기반한 후기 은닉층 특징의 명시적 지도 학습이 이미지 및 영상 인식 작업의 분류 성능을 향상시키는가?
• RQ2 은닉층에서 레이블 일관성을 강제하면 기울기 소실 문제를 완화하고 훈련 수렴 속도를 가속화하는가?
• RQ3 후기 은닉층의 특징만으로도 k-NN과 같은 단순한 분류기로 높은 성능을 달성할 수 있는가? 이는 특징의 내재된 강력한 판별 능력을 시사한다.
• RQ4 제한된 훈련 데이터가 존재할 경우, 제안된 방법은 최신 기술 수준의 접근법과 비교해 어떻게 성능을 내는가?

주요 결과

• LCNN-2는 VGGNet-16 기반으로 Caltech101 데이터셋에서 93.7%의 상위-1 정확도를 기록하여, 기준으로 사용된 미세조정된 VGGNet-16(92.5%)를 초월했으며, 이전 최신 기술 수준의 방법들인 LC-KSVD(73.6%)와 He et al.(91.44%)를 모두 뛰어넘었다.
• ImageNet에서 LCNN-2는 동일한 설정에서 훈련을 시작한 기준 GoogLeNet 구현보다 상위-1 및 상위-5 정확도가 높았다.
• LCNN의 후기 은닉층에서 추출한 특징은 Caltech101에서 k-NN 분류기로 89.45%의 정확도를 달성하여, 그 강력한 내재된 판별 능력을 입증했다.
• 레이블 일관성 제약 덕분에 수렴 속도가 빨라지고 성능이 향상되었으며, 특히 데이터가 부족한 조건에서 기울기 소실 영향이 감소하여 유의미한 효과를 보였다.
• LCNN는 행동 및 객체 인식 벤치마크에서 다수의 최신 기술 수준 방법들을 능가하며, 다양한 시각 작업에 걸쳐 효과적인 것으로 확인되었다.