[논문 리뷰] CoRE Kernels

Ping Li|arXiv (Cornell University)|2014. 04. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 시각 응용 분야에서 흔히 볼 수 있는 고차원, 희박, 비이元 데이터를 위한 새로운 비선형 상관관계 유사도 커널인 CoRE 커널을 소개한다. 비선형 커널을 선형 커널로 변환하기 위해 확률적 해싱를 활용함으로써, 조정 파rameter 없이 효율적인 커널 SVM 학습이 가능해지며, 대규모 산업 응용 분야에서의 확장성은 크게 향상된다.

ABSTRACT

The term stands for correlation-resemblance kernel. In many applications (e.g., vision), the data are often high-dimensional, sparse, and non-binary. We propose two types of (nonlinear) CoRE kernels for non-binary sparse data and demonstrate the effectiveness of the new kernels through a classification experiment. CoRE kernels are simple with no tuning parameters. However, training nonlinear kernel SVM can be (very) costly in time and memory and may not be suitable for truly large-scale industrial applications (e.g. search). In order to make the proposed CoRE kernels more practical, we develop basic probabilistic hashing algorithms which transform nonlinear kernels into linear kernels.

연구 동기 및 목표

• 시각 및 산업 응용 분야에서 흔히 볼 수 있는 고차원, 희박, 비이원 데이터에 비선형 커널 방법을 적용하는 데 도전하는 것.
• 초기 조정 파rameter 없이도 높은 분류 정확도를 유지하는 커널 방법을 개발하는 것.
• 확률적 해싱를 통해 비선형 커널을 선형 등가 형태로 변환함으로써 커널 SVM의 확장성을 향상시키는 것.
• 학습 비용과 메모리 사용이 금기인 대규모 시스템에서 커널 방법의 실용적 구현을 가능하게 하는 것.

제안 방법

• 비이원 희박 데이터를 위한 상관관계 및 유사도 측정 기반의 두 가지 유형의 비선형 CoRE 커널을 제안한다.
• 확률적 해싱를 사용해 비선형 커널 함수를 선형 투영으로 근사함으로써 계산 복잡도를 감소시킨다.
• 특정 해싱 체계를 사용한 무작위 투영을 통해 변환된 공간에서 커널 유사도를 유지한다.
• 결과적으로 유도된 선형 커널을 표준 커널 SVM 학습에 적용하여 효율적인 최적화를 가능하게 한다.
• 기존 비선형 커널의 분류 능력을 유지할 수 있도록 해싱 과정을 설계한다.

실험 결과

연구 질문

• RQ1 조정 파rameter 없이도 희박하고 비이원 데이터의 상관관계와 유사도를 효과적으로 모델링할 수 있는 비선형 커널을 구성할 수 있는가?
• RQ2 비선형 커널 방법을 웹 스케일 검색 시스템과 같은 대규모 산업 응용 분야에서 확장 가능하게 만들 수 있는가?
• RQ3 확률적 해싱를 통해 비선형 커널을 선형 형태로 변환할 때, 원래 성능을 얼마나 잘 유지할 수 있는가?
• RQ4 제안된 방법은 학습 시간과 메모리 사용을 극적으로 줄이면서도 높은 분류 정확도를 유지하는가?

주요 결과

• CoRE 커널은 조정 파rameter 없이도 희박하고 비이원 데이터에서 높은 분류 정확도를 달성한다.
• 확률적 해싱를 통해 비선형 CoRE 커널이 성공적으로 선형 등가 형태로 변환되어 효율적인 커널 SVM 학습이 가능해진다.
• 기존 비선형 커널 SVM에 비해 학습 시간과 메모리 소비가 크게 감소한다.
• 웹 스케일 검색 시스템과 같은 대규모 산업 응용 분야에서 확장 가능하고 실용적인 방법이다.