[논문 리뷰] Collaboratively Weighting Deep and Classic Representation via L2 Regularization for Image Classification

Shaoning Zeng, Bob Zhang외 2명|arXiv (Cornell University)|2018. 02. 21.

Domain Adaptation and Few-Shot Learning인용 수 14

한 줄 요약

이 논문은 $l_2$-정규화된 공동 표현을 통해 딥 컨volution 네트워크(CNN) 특징과 고전적인 선형 표현을 공동으로 가중하는 새로운 이미지 분류 방법인 DeepCWC를 제안한다. 학습된 공동 가중치를 사용해 두 표현의 거리 벡터를 융합함으로써 최신 기술 수준의 성능을 달성하였으며, Fashion-MNIST에서 97.66%의 정확도를 기록하여 Wide ResNet 기반 및 기타 최신 모델들을 능가하였다.

ABSTRACT

Deep convolutional neural networks provide a powerful feature learning capability for image classification. The deep image features can be utilized to deal with many image understanding tasks like image classification and object recognition. However, the robustness obtained in one dataset can be hardly reproduced in the other domain, which leads to inefficient models far from state-of-the-art. We propose a deep collaborative weight-based classification (DeepCWC) method to resolve this problem, by providing a novel option to fully take advantage of deep features in classic machine learning. It firstly performs the L2-norm based collaborative representation on the original images, as well as the deep features extracted by deep CNN models. Then, two distance vectors, obtained based on the pair of linear representations, are fused together via a novel collaborative weight. This collaborative weight enables deep and classic representations to weigh each other. We observed the complementarity between two representations in a series of experiments on 10 facial and object datasets. The proposed DeepCWC produces very promising classification results, and outperforms many other benchmark methods, especially the ones claimed for Fashion-MNIST. The code is going to be published in our public repository.

연구 동기 및 목표

• 딥 특징이 한 데이터셋에서 학습된 후 다른 데이터셋으로 일반화되지 못하는 도메인 시프트 문제를 해결하기 위해.
• 사전 훈련된 딥 특징을 사용할 때 고전적 기계 학습 모델의 강건성과 성능을 향상시키기 위해.
• 선형 모델인 $l_2$-정규화된 공동 표현이 비선형 딥 특징을 통합된 분류 프레임워크 내에서 어떻게 향상시킬 수 있는지 탐색하기 위해.
• 딥 및 고전적 표현을 공동 가중치를 통해 융합함으로써 다양한 CNN 아키텍처와 데이터셋에서 우수하고 일관된 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 기존 이미지와 사전 훈련된 CNN에서 추출한 딥 특징에 대해 $l_2$-노름 기반 공동 표현을 수행한다.
• 두 개의 거리 벡터를 계산한다: 원본 이미지의 선형 표현에서 유도된 하나와 딥 CNN 특징의 선형 표현에서 유도된 다른 하나.
• 딥 및 고전적 표현이 상호 보완적으로 작용하도록 새로운 공동 가중치를 학습한다.
• 공동 가중치는 훈련 중에 엔드 투 엔드로 최적화되어, 최종 분류에 각 표현이 기여하는 정도를 모델이 학습할 수 있도록 한다.
• 일반화 성능 평가를 위해 여러 CNN 아키텍처(ResNet, Inception, VGG)와 다양한 레이어(예: fc6, 전역 평균 풀링)에 적용한다.
• 딥 모델의 아키텍처를 수정하지 않고 표준 최적화 기법을 사용해 분류기를 훈련하며, 분류 수준에서 융합에 집중한다.

실험 결과

연구 질문

• RQ1 $l_2$-정규화된 공동 표현이 사전 훈련된 딥 특징의 분류 능력을 이미지 분류 과제에서 효과적으로 향상시킬 수 있는가?
• RQ2 공동 가중치를 통한 딥 및 고전적 표현 융합이 다양한 데이터셋과 네트워크 아키텍처 간의 일반화 능력을 어떻게 향상시키는가?
• RQ3 특정 사전 훈련된 CNN 특징을 사용할 때, 제안된 방법이 Fashion-MNIST와 같은 도전적인 벤치마크에서 최신 기술 수준의 모델을 능가하는가?
• RQ4 다양한 CNN 레이어(예: 전역 평균 풀링 대비 완전 연결 레이어)가 공동 융합 프레임워크의 성능에 미치는 영향은 무엇인가?
• RQ5 딥 모델의 아키텍처를 수정하거나 하이퍼파라미터를 튜닝하지 않고도 단순한 선형 융합 메커니즘이 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 DeepCWC 방법은 Fashion-MNIST 데이터셋에서 최신 기술 수준의 정확도 97.66%를 달성하여 Wide Residual Networks 기반의 이전 최신 기술 수준 모델들을 능가하였다.
• 모든 테스트된 CNN 아키텍처인 ResNet, Inception, VGG에서 동일하게 높은 성능를 기록하며 베이스라인 모델들을 일관되게 능가하였다.
• VGG-16의 fc6 레이어에서 추출한 특징을 사용했을 때 가장 높은 성능를 기록하였으며, 이는 고차원의 완전 연결 특징이 고전적 표현과 융합될 경우 매우 분류 능력이 뛰어나다는 것을 시사한다.
• Inception 및 ResNet 모델에서 전역 평균 풀링 레이어가 다른 레이어보다 더 높은 정확도를 기록하여, 클래스 수준의 특징을 효과적으로 추출하는 데 유용하다는 것을 보여주었다.
• 딥 네트워크 아키텍처를 수정하거나 하이퍼파라미터를 튜닝하지 않고도 높은 성능를 달성하여 융합 메커니즘의 강건성을 입증하였다.
• 샘플당 처리 시간은 0.1에서 0.2초 사이로, 이중 표현 융합에도 불구하고 효율적인 추론을 가능하게 하였다.