[논문 리뷰] Random depthwise signed convolutional neural networks.

Yunzhe Xue, Usman Roshan|arXiv (Cornell University)|2018. 06. 15.

Domain Adaptation and Few-Shot Learning인용 수 1

한 줄 요약

이 논문은 랜덤 컨볼루션 블록과 글로벌 평균 풀링을 사용하여 이미지 분류 및 검색을 위한 k차원 특징 공간을 생성하는 랜덤 디프스와이즈 부호화 컨볼루션 신경망을 제안한다. 학습 없이 랜덤 가중치만을 사용하고 백프로파게이션도 수행하지 않음에도 불구하고, CIFAR10과 미니-ImageNet에서 상위 2위 정확도가 약 90%에 가까워, 훈련된 네트워크와 비교해도 경쟁 가능한 성능을 달성한다.

ABSTRACT

We propose a random convolutional neural network to generate a feature space in which we study image classification and retrieval performance. Put briefly we apply random convolutional blocks followed by global average pooling to generate a new feature, and we repeat this k times to produce a k-dimensional feature space. This can be interpreted as partitioning the space of image patches with random hyperplanes which we formalize as a random depthwise convolutional neural network. In the network's final layer we perform image classification and retrieval with the linear support vector machine and k-nearest neighbor classifiers and study other empirical properties. We show that the ratio of image pixel distribution similarity across classes to within classes is higher in our network's final layer compared to the input space. When we apply the linear support vector machine for image classification we see that the accuracy is higher than if we were to train just the final layer of VGG16, ResNet18, and DenseNet40 with random weights. In the same setting we compare it to an unsupervised feature learning method and find our accuracy to be comparable on CIFAR10 but higher on CIFAR100 and STL10. We see that the accuracy is not far behind that of trained networks, particularly in the top-k setting. For example the top-2 accuracy of our network is near 90% on both CIFAR10 and a 10-class mini ImageNet, and 85% on STL10. We find that k-nearest neighbor gives a comparable precision on the Corel Princeton Image Similarity Benchmark than if we were to use the final layer of trained networks. As with other networks we find that our network fails to a black box attack even though we lack a gradient and use the sign activation. We highlight sensitivity of our network to background as a potential pitfall and an advantage. Overall our work pushes the boundary of what can be achieved with random weights.

연구 동기 및 목표

• 랜덤 컨볼루션 네트워크에 부호 활성화를 적용할 경우, 훈련 없이도 효과적인 특징 표현을 생성할 수 있는지 탐색한다.
• 선형 분류기와 함께 이러한 네트워크의 성능을 이미지 분류 및 검색 작업에서 평가한다.
• 표준 벤치마크에서 제안된 방법을 훈련된 모델과 무 supervision 특징 학습 방법과 비교한다.
• 기울기가 존재하지 않는다는 점에도 불구하고, 네트워크가 적대적 공격에 얼마나 강건한지 분석한다.
• 이미지 배경에 대한 네트워크의 민감도를 분석하여, 응용 맥락에 따라 잠재적 이점 또는 제한점으로 작용할 수 있는지를 조사한다.

제안 방법

• 이 방법은 이미지 패치에서 특징를 추출하기 위해 랜덤 디프스와이즈 컨볼루션 블록에 다음으로 ReLU 및 부호 활성화를 적용한다.
• 각 랜덤 블록의 출력에 글로벌 평균 풀링을 적용하여 블록당 하나의 특징 벡터를 생성한다.
• 이 과정을 k번 반복하여 k차원 특징 공간을 생성하며, 이는 이미지 패치 공간을 랜덤 초평면으로 분할하는 효과를 가진다.
• 최종 특징 표현은 분류를 위해 선형 서포트 벡터 머신(SVM), 검색을 위해 k-최근접 이웃(k-NN)과 함께 사용된다.
• 이 네트워크는 백프로파게이션 또는 학습된 가중치를 사용하지 않으며, 모든 레이어가 랜덤으로 초기화되고 고정된다.
• 기울기가 제공되지 않더라도 스파arsity를 강제하고 강건성을 향상시키기 위해 부호 활성화 함수를 사용한다.

실험 결과

연구 질문

• RQ1 랜덤 디프스와이즈 부호화 컨볼루션 네트워크는 훈련 없이도 분류 가능한 특징 표현을 생성할 수 있는가?
• RQ2 이 랜덤 네트워크의 성능은 VGG16, ResNet18, DenseNet40 등의 미세조정된 모델과 비교해 어떻게 되는가?
• RQ3 제안된 방법은 소규모(예: CIFAR10) 및 대규모(예: mini-ImageNet) 벤치마크에서 모두 경쟁 가능한 정확도를 달성하는가?
• RQ4 이 네트워크는 훈련된 네트워크에서 추출한 특징과 비교해 이미지 검색 작업에서 어떤 성능을 보이는가?
• RQ5 기울기가 존재하지 않고 부호 활성화를 사용함에도 불구하고, 네트워크는 적대적 공격에 강건한가?

주요 결과

• 최종 레이어에서 클래스 간 유사도 대 클래스 내 유사도 비율이 입력 공간보다 높아, 더 나은 클래스 분리가 이루어짐을 시사한다.
• 랜덤 네트워크는 CIFAR10과 10개 클래스의 미니-ImageNet에서 상위 2위 정확도가 거의 90%에 도달하여, 훈련된 모델의 성능에 근접한다.
• STL10에서 상위 2위 정확도는 85%에 도달하여, 더 복잡한 데이터에 대한 강력한 일반화 능력을 보여준다.
• k-NN 기반의 Corel Princeton Image Similarity Benchmark에서 네트워크의 성능은 훈련된 네트워크의 최종 레이어에서 추출한 특징과 유사하다.
• 기울기가 없고 부호 활성화를 사용하고 있음에도 불구하고, 네트워크는 블랙박스 적대적 공격에 강건하다.
• 네트워크는 배경에 민감한 편이지만, 이는 응용 맥락에 따라 제한점일 수도 있고 잠재적 이점일 수도 있다.