[논문 리뷰] C-SVDDNet: An Effective Single-Layer Network for Unsupervised Feature Learning.

Dong Wang, Xiaoyang Tan|arXiv (Cornell University)|2014. 12. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 23인용 수 4

한 줄 요약

C-SVDDNet는 단일층 비지도 특징 학습 네트워크를 제안하며, K-means 클러스터링 성능을 향상시키기 위해 새로운 C-SVDD 알고리즘을 통합하여 클러스터의 밀도와 분포를 더 견고하게 모델링하고, 다중 척도 SIFT 유사 전역 표현을 통해 공간 정보를 통합한다. 이는 STL-10, MNIST, Holiday, Copydays 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we investigate the problem of learning feature representation from unlabeled data using a single-layer K-means network. A K-means network maps the input data into a feature representation by finding the nearest centroid for each input point, which has attracted researchers' great attention recently due to its simplicity, effectiveness, and scalability. However, one drawback of this feature mapping is that it tends to be unreliable when the training data contains noise. To address this issue, we propose a SVDD based feature learning algorithm that describes the density and distribution of each cluster from K-means with an SVDD ball for more robust feature representation. For this purpose, we present a new SVDD algorithm called C-SVDD that centers the SVDD ball towards the mode of local density of each cluster, and we show that the objective of C-SVDD can be solved very efficiently as a linear programming problem. Additionally, traditional unsupervised feature learning methods usually take an average or sum of local representations to obtain global representation which ignore spatial relationship among them. To use spatial information we propose a global representation with a variant of SIFT descriptor. The architecture is also extended with multiple receptive field scales and multiple pooling sizes. Extensive experiments on several popular object recognition benchmarks, such as STL-10, MINST, Holiday and Copydays shows that the proposed C-SVDDNet method yields comparable or better performance than that of the previous state of the art methods.

연구 동기 및 목표

• 노이즈가 있는 데이터 하에서 K-means 기반 특징 학습의 불안정성을 해결하기 위해 클러스터 표현의 견고성을 향상시키기 위해.
• 기존 SVDD보다 K-means 클러스터의 밀도와 분포를 더 정확히 모델링하기 위해 중심을 국소 밀도 모드에 둔다.
• 일般적으로 평균화 또는 합산을 통해 전역 표현을 생성할 때 忽시되는 국소 특징 간의 공간 관계를 통합하기 위해.
• 더 나은 특징 분류 성능을 위해 다중 척도, 다중 풀링 변형 SIFT 기반 기술자를 사용하여 전역 표현을 향상시키기 위해.
• 제안된 C-SVDD 알고리즘을 위한 효율적인 선형 프로그래밍 공식을 개발하여 확장성과 속도를 보장하기 위해.

제안 방법

• 각 K-means 클러스터 내 국소 밀도 모드를 중심으로 초구를 중심에 두어 클러스터의 구조를 더 잘 포착할 수 있도록 수정된 SVDD인 C-SVDD를 제안한다.
• C-SVDD 목적함수를 선형 프로그래밍 문제로 해결하여 효율적이고 확장 가능한 최적화를 가능하게 한다.
• 국소 특징의 계층적 공간 패턴을 포착하기 위해 다중 수용장역과 다중 풀링 크기 아키텍처를 도입한다.
• 다양한 척도에서 공간 레이아웃을 인코딩하는 SIFT 유사 기술자 변형을 사용하여 전역 표현을 구성한다.
• K-means 기반 국소 특징 매핑과 C-SVDD 기반 클러스터 모델링, 공간 인식 전역 표현을 단일층 네트워크에서 통합한다.
• 라벨이 없는 데이터가 필요 없이 특징 학습과 표현을 함께 최적화하는 통합 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 국소 밀도 모드에 중심을 둔 수정된 SVDD 접근 방식이 노이즈 상황에서 K-means 기반 특징 학습의 견고성을 향상시킬 수 있는가?
• RQ2 국소 특징 간의 공간 관계를 통합할 경우 비지도 학습에서 전역 표현 품질에 어떤 영향을 미치는가?
• RQ3 제안된 C-SVDD의 선형 프로그래밍 공식화가 단일층 네트워크에서 효율적이고 확장 가능한 특징 학습을 가능하게 하는가?
• RQ4 다중 척도 수용장역과 풀링의 통합이 표준 객체 인식 벤치마크 성능을 향상시키는가?
• RQ5 정확도와 견고성 측면에서 C-SVDDNet은 최신 비지도 특징 학습 방법들과 비교해 어떻게 성과를 내는가?

주요 결과

• C-SVDDNet은 STL-10, MNIST, Holiday, Copydays 데이터셋에서 이전 최신 기술 수준의 방법들과 비교해 유사하거나 더 높은 성능을 달성한다.
• 제안된 C-SVDD 알고리즘은 국소 밀도 모드에 초구 중심을 두어 클러스터의 밀도와 분포를 효과적으로 모델링하여 노이즈에 대한 견고성을 향상시킨다.
• 다중 척도, 다중 풀링 SIFT 유사 전역 표현의 사용은 공간 관계를 포착하고 특징 분류 성능을 향상시킨다.
• C-SVDD 목적함수는 선형 프로그래밍 문제로 효율적으로 해결 가능하여 빠르고 확장 가능한 학습을 가능하게 한다.
• C-SVDD를 K-means와 공간 인식 전역 표현과 통합함으로써 더 신뢰성 있고 일반화 능력이 뛰어난 특징 표현이 도출된다.
• 실증 결과는 제안된 방법이 표준 K-means 및 전통적인 비지도 특징 학습 기반 방법들을 표준 벤치마크에서 모두 능가함을 확인한다.