[논문 리뷰] SVM and ELM: Who Wins? Object Recognition with Deep Convolutional Features from ImageNet

Lei Zhang, David Zhang|arXiv (Cornell University)|2015. 06. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 9

한 줄 요약

이 논문은 사전 훈련된 ImageNet CNN에서 추출한 딥 컨볼루션 특징을 사용하여 객체 인식을 위한 서포트 벡터 머신(SVMs)과 극단적 학습 기계(ELMs)를 평가한다. 교차 도메인 데이터셋에서의 실험 결과, 커널 ELMs가 평균 정확도 약 4% 높은 성능을 보이며, 전이 학습 환경에서 딥 특징에 대한 분류기로 ELMs가 더 효과적임을 입증한다.

ABSTRACT

Deep learning with a convolutional neural network (CNN) has been proved to be very effective in feature extraction and representation of images. For image classification problems, this work aim at finding which classifier is more competitive based on high-level deep features of images. In this report, we have discussed the nearest neighbor, support vector machines and extreme learning machines for image classification under deep convolutional activation feature representation. Specifically, we adopt the benchmark object recognition dataset from multiple sources with domain bias for evaluating different classifiers. The deep features of the object dataset are obtained by a well-trained CNN with five convolutional layers and three fully-connected layers on the challenging ImageNet. Experiments demonstrate that the ELMs outperform SVMs in cross-domain recognition tasks. In particular, state-of-the-art results are obtained by kernel ELM which outperforms SVMs with about 4% of the average accuracy. The features and codes are available in http://www.escience.cn/people/lei/index.html

연구 동기 및 목표

• 딥 컨볼루션 특징을 사용한 객체 인식에서 SVMs와 ELMs의 성능을 비교하기 위해.
• 도메인 편향이 존재하는 벤치마크 데이터셋을 사용하여 도메인 이동 상황에서 분류기의 효과성을 평가하기 위해.
• 사전 훈련된 CNN에서 유도된 고수준 특징에 적용했을 때 ELMs가 기존의 SVMs를 능가할 수 있는지 확인하기 위해.
• 재현 가능성과 향후 연구를 위해 딥 특징과 코드를 오픈소스로 제공하기 위해.

제안 방법

• ImageNet에서 사전 훈련된 다섯 개의 컨볼루션 레이어와 세 개의 완전 연결 레이어로 구성된 CNN에서 딥 컨볼루션 특징을 추출한다.
• 최종 완전 연결 레이어의 활성화를 분류를 위한 고수준 이미지 표현으로 사용한다.
• 도메인 편향이 존재하는 여러 데이터셋에서 이들 딥 특징에 대해 SVM 및 ELM 분류기를 훈련하고 평가한다.
• 비선형 결정 경계를 향상시키기 위해 라디얼 기저 함수(RBF) 커널을 사용한 커널 ELM을 구현한다.
• 공정한 비교를 보장하기 위해 교차 검증과 표준 평가 프로토콜을 적용한다.
• 모든 실험에서 동일한 특징 표현과 훈련 프로토콜을 사용하여 분류기 성능만을 고립적으로 분석한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN에서 유도된 딥 특징을 사용해 이미지를 분류할 때 ELM이 SVM을 능가하는가?
• RQ2 특히 도메인 편향이 존재할 경우, SVMs와 ELMs는 교차 도메인 일반화 상황에서 어떻게 성능을 내는가?
• RQ3 ImageNet에서 유도된 딥 특징에 대해 커널 ELM은 SVM에 비해 최첨단 성능을 달성할 수 있는가?
• RQ4 ImageNet 특징을 사용한 전이 학습 환경에서 ELM은 SVM에 비해 상대적으로 얼마나 더 높은 정확도를 기록하는가?

주요 결과

• 커널 ELMs는 교차 도메인 객체 인식 작업에서 SVMs보다 약 4% 높은 평균 정확도를 달성한다.
• 도메인 편향이 존재하는 데이터셋에서 테스트했을 때 ELMs는 SVMs보다 뛰어난 일반화 성능을 보인다.
• 제안된 방법은 사전 훈련된 ImageNet CNN에서 유도된 딥 특징을 사용해 최첨단 성능을 달성한다.
• ELM 기반 접근법은 특히 훈련 단계에서 SVMs보다 계산적으로 더 효율적이다.
• 다양한 도메인 이동이 존재하는 여러 벤치마크 데이터셋에서 ELMs의 성능 향상은 일관되게 나타난다.
• 저자들은 딥 특징과 코드를 공개하여 재현 가능성과 향후 벤치마크 작업을 가능하게 한다.