[논문 리뷰] An Out-of-the-box Full-network Embedding for Convolutional Neural Networks

Dario García-Gasulla, Armand Vilalta외 6명|arXiv (Cornell University)|2017. 05. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 7

한 줄 요약

이 논문은 사전 훈련된 CNN의 모든 층으로부터 정규화되고 이산화된 특징을 통합하는 전체 네트워크 임베딩 방법을 제안하며, 단일 층 임베딩보다 분류 정확도와 강건성은 크게 향상시키고 계산 비용은 감소시킨다. 이 방법은 여러 이미지 분류 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 사전 훈련된 모델이 열악하거나 데이터가 부족한 경우에 유의미한 성능 향상을 보인다.

ABSTRACT

Transfer learning for feature extraction can be used to exploit deep representations in contexts where there is very few training data, where there are limited computational resources, or when tuning the hyper-parameters needed for training is not an option. While previous contributions to feature extraction propose embeddings based on a single layer of the network, in this paper we propose a full-network embedding which successfully integrates convolutional and fully connected features, coming from all layers of a deep convolutional neural network. To do so, the embedding normalizes features in the context of the problem, and discretizes their values to reduce noise and regularize the embedding space. Significantly, this also reduces the computational cost of processing the resultant representations. The proposed method is shown to outperform single layer embeddings on several image classification tasks, while also being more robust to the choice of the pre-trained model used for obtaining the initial features. The performance gap in classification accuracy between thoroughly tuned solutions and the full-network embedding is also reduced, which makes of the proposed approach a competitive solution for a large set of applications.

연구 동기 및 목표

• 사전 훈련된 CNN의 모든 층의 표현을 활용하는 즉시 사용 가능한 특징 추출 방법을 개발하여, 초파rameter 튜닝이나 미세조정이 필요 없도록 하는 것.
• 모든 네트워크 층의 특징을 통합하여 부적절하거나 열악한 사전 훈련된 모델에 대해 강건성을 향상시키는 것.
• 특징 값의 이산화를 통해 표현 능력을 유지하면서도, 후속 학습의 계산 비용을 감소시키는 것.
• 최소한의 사용자 전문성 또는 계산 자원으로도 이미지 분류 작업에서 높은 성능을 달성하는 것.
• 완전히 튜닝된 모델과 단순한 플러그 앤 플레이 특징 추출 솔루션 간의 성능 격차를 해소하는 것.

제안 방법

• 모든 입력 이미지에 대해 사전 훈련된 CNN의 모든 층(합성곱 및 완전 연결 층)의 활성화를 계산한다.
• 각 층에서 z-점수 표준화를 사용하여 특징를 정규화하여 맥락에 따라 달라지며 문제에 적응하는 특징를 만든다.
• 특징 값은 세 개의 박스로 이산화되며, {-1, 0, 1}로 표현되어 노이즈를 감소시키고 임베딩 공간을 정규화한다.
• 이산화 과정은 모든 층에 걸쳐 전역적으로 적용되며, 원래의 임베딩 차원 수를 유지한다.
• 최종 임베딩은 모든 층의 정규화되고 이산화된 특징를 연결하여 하나의 고차원 벡터로 만든다.
• 후속 분류는 SVM를 사용하며, 이산화로 인한 희소성 덕분에 훈련 속도가 크게 향상된다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN의 모든 층의 특징를 통합하면 단일 층 임베딩에 비해 특징 추출 성능이 향상되는가?
• RQ2 부적절하거나 열악한 사전 훈련된 모델을 사용할 경우, 특징 정규화와 이산화가 강건성을 향상시키는가?
• RQ3 제안된 전체 네트워크 임베딩이 후속 학습에서 계산 비용을 얼마나 감소시키는가?
• RQ4 분류 정확도 측면에서 전체 네트워크 임베딩은 철저히 튜닝된 모델과 비교해 어떻게 성능을 내는가?
• RQ5 특징 해상도를 낮추는 이산화 전략이 표현 품질을 유지하거나 향상시키는가?

주요 결과

• 전체 네트워크 임베딩은 9개의 데이터셋 평균 정확도 81.5%를 달성하여 기준 단일 층 임베딩(78.7%)과 {-v,0,v} 이산화 변형(80.0%)을 능가한다.
• 우드 데이터셋에서 전체 네트워크 임베딩은 86.2%의 정확도를 기록하여 평가된 모든 방법 중 최고의 보고된 결과이다.
• 부적절한 사전 훈련된 모델(예: mit67에 대해 ImageNet 사용)을 사용할 경우 전체 네트워크 임베딩은 평균 13.6% 감소에 그치지만, 기준 방법은 21.2% 감소하여 훨씬 뛰어난 강건성을 보였다.
• 이산화로 인한 희소성 덕분에 전체 네트워크 임베딩은 비이산화 전체 네트워크 변형 대비 SVM 훈련 속도를 20배에서 100배 빠르게 한다.
• VGG19를 VGG16 대신 사용할 경우에도 높은 성능를 유지하며, 최대 성능 차이가 오직 0.3%에 불과하여 네트워크 깊이에 대해 민감하지 않음을 보여준다.
• 전체 네트워크 임베딩은 즉시 사용 가능한 솔루션과 철저히 튜닝된 모델 간의 성능 격차를 줄여, 자원이 제한되거나 전문 지식이 부족한 환경에서 경쟁 가능한 대안이 된다.