[논문 리뷰] When Dictionary Learning Meets Deep Learning: Deep Dictionary Learning and Coding Network for Image Recognition with Limited Data

Hao Tang, Hong Liu외 2명|arXiv (Cornell University)|2020. 05. 21.

Advanced Image and Video Retrieval Techniques인용 수 9

한 줄 요약

이 논문은 제한된 데이터에서 이미지 인식을 위한 특징 표현을 향상시키기 위해 기존의 표준 컨볼루션 레이어를 복합 사전 학습 및 코딩 레이어로 대체하는 새로운 아키텍처인 딥 딕셔너리 러닝 및 코딩 네트워크(DDLCN)를 제안한다. 코딩 과정에서 局소성(locality)을 강제로 적용하고 계층적인 사전을 스택함으로써, 더 적은 초모수와 더 빠른 추론을 통해 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We present a new Deep Dictionary Learning and Coding Network (DDLCN) for image recognition tasks with limited data. The proposed DDLCN has most of the standard deep learning layers (e.g., input/output, pooling, fully connected, etc.), but the fundamental convolutional layers are replaced by our proposed compound dictionary learning and coding layers. The dictionary learning learns an over-complete dictionary for input training data. At the deep coding layer, a locality constraint is added to guarantee that the activated dictionary bases are close to each other. Then the activated dictionary atoms are assembled and passed to the compound dictionary learning and coding layers. In this way, the activated atoms in the first layer can be represented by the deeper atoms in the second dictionary. Intuitively, the second dictionary is designed to learn the fine-grained components shared among the input dictionary atoms, thus a more informative and discriminative low-level representation of the dictionary atoms can be obtained. We empirically compare DDLCN with several leading dictionary learning methods and deep learning models. Experimental results on five popular datasets show that DDLCN achieves competitive results compared with state-of-the-art methods when the training data is limited. Code is available at https://github.com/Ha0Tang/DDLCN.

연구 동기 및 목표

• 훈련 데이터가 부족할 때 이미지 인식의 일반화 성능이 떨어지는 문제를 해결한다.
• 기존의 사전 학습 및 희박 코딩의 한계(예: 비물리적인 '앵커 포인트'의 수가 많고, 계층적 표현이 약한 것)를 극복한다.
• 딥 러닝의 특징 추상화 능력(계층적 특징 추상화)과 사전 학습의 희박하고 해석 가능한 표현 능력을 통합한 유일한 프레임워크를 개발한다.
• 제한된 훈련 샘플에도 불구하고 효율성과 확장성을 유지하면서도 학습 가능한, 엔드 투 엔드 호환 네트워크를 개발한다.

제안 방법

• 입력 데이터로부터 초과기저(over-complete) 사전을 학습하는 복합 사전 학습 및 코딩 레이어로 표준 컨볼루션 레이어를 대체한다.
• 코딩 과정에서 국소성 제약을 적용하여 활성화된 사전 원소들이 공간적으로 가까이 있도록 보장함으로써 근사 정확도와 내성성을 향상시킨다.
• 다중 사전 학습 및 코딩 레이어를 스택하여 계층적 표현을 형성하며, 더 깊은 레이어는 이전 레이어의 활성화된 원소들로부터 미세한 구성 요소를 학습한다.
• 이중 단계 학습 과정을 사용한다: 첫째, K-SVD 또는 유사 알고리즘을 통해 사전를 사전 학습한다; 둘째, 선형 SVM 분류기로 네트워크를 미세 조정한다.
• 학습된 사전을 표준 레이어(예: 풀링, 완전 연결)와 함께 딥 네트워크 아키텍처에 통합하여 표준 훈련 및 추론 파이프라인과의 호환성을 확보한다.
• 희박성과 국소성을 균형 잡는 공동 목표를 최적화하며, 계산 효율성을 위해 ℓ2-노름의 완화를 적용한다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 제한적일 때, 딥 사전 학습 프레임워크가 표준 사전 학습 및 딥 컨볼루션 네트워크(CNN)를 능가할 수 있는가?
• RQ2 코딩 과정에서 국소성을 강제로 적용하면 표현 품질과 분류 정확도가 어떻게 향상되는가?
• RQ3 계층적 사전 학습 레이어가 다수의 추상화 수준에서 분류에 유용한 저수준 특징을 얼마나 잘 포착할 수 있는가?
• RQ4 엔드 투 엔드 CNN에 비해 컨볼루션 레이어를 사전 기반 레이어로 대체함으로써 초모수 수를 줄이고 훈련 효율성을 높일 수 있는가?

주요 결과

• DDLCN-2는 클래스당 500개의 훈련 샘플로 MNIST에서 99.02%의 정확도를 달성하여 대부분의 기준 사전 학습 방법을 능가하고 딥 CNN의 성능에 가까워졌다.
• DDLCN-6는 MNIST에서 99.57%의 정확도를 기록하여 더 깊은 계층적 사전 학습이 성능 향상에 기여하지만, 여섯 레이어를 초과하면 수익 감소 현상이 나타남을 보여주었다.
• CIFAR-10에서 클래스당 60개의 훈련 샘플만으로도 DDLCN는 78.15%의 정확도를 기록하여 동일한 저데이터 환경에서 최신 기술 수준의 VGG19와 ResNet-18를 능가했다.
• 엔드 투 엔드 CNN에 비해 훨씬 적은 초모수를 사용하면서도 경쟁력 있는 성능을 달성했으며, 고정된 특징 추출기와 선형 SVM의 단순한 미세 조정 덕분에 훈련이 더 효율적이었다.
• MNIST의 혼동 행렬을 분석한 결과, 가장 자주 혼동되는 클래스 조합은 (2,7), (4,9), (3,5)였으며, 이는 일부 클래스 간 겹침이 존재하더라도 모델이 강건함을 시사한다.
• DDLCN-3, DDLCN-4, DDLCN-5는 얕은 버전에 비해 일관된 성능 향상을 보이며, 더 깊은 계층적 표현 학습의 유용성을 확인했다.