[논문 리뷰] Compact Nonlinear Maps and Circulant Extensions

Felix X. Yu, Sanjiv Kumar외 2명|arXiv (Cornell University)|2015. 03. 12.

Advanced Optimization Algorithms Research참고 문헌 52인용 수 38

한 줄 요약

이 논문은 비선형 특징 맵과 분류 손실을 동시에 최적화하는 Compact Nonlinear Maps (CNM)를 제안하며, 맵 차원을 크게 줄임으로써 최신 기술 수준의 성능을 달성한다. 엔드 투 엔드 학습을 통해 맵 파라미터를 학습하고 순환 구조를 가진 투영 행렬을 사용함으로써, 계산 비용과 메모리 사용량을 각각 O(kd)에서 O(k log d)와 O(k)로 감소시키며, 무작위 특징 맵보다 정확도를 유지하거나 향상시킨다.

ABSTRACT

Kernel approximation via nonlinear random feature maps is widely used in speeding up kernel machines. There are two main challenges for the conventional kernel approximation methods. First, before performing kernel approximation, a good kernel has to be chosen. Picking a good kernel is a very challenging problem in itself. Second, high-dimensional maps are often required in order to achieve good performance. This leads to high computational cost in both generating the nonlinear maps, and in the subsequent learning and prediction process. In this work, we propose to optimize the nonlinear maps directly with respect to the classification objective in a data-dependent fashion. The proposed approach achieves kernel approximation and kernel learning in a joint framework. This leads to much more compact maps without hurting the performance. As a by-product, the same framework can also be used to achieve more compact kernel maps to approximate a known kernel. We also introduce Circulant Nonlinear Maps, which uses a circulant-structured projection matrix to speed up the nonlinear maps for high-dimensional data.

연구 동기 및 목표

• 무작위 특징 맵에 의존하는 전통적인 커널 근사화 방법의 높은 계산 비용과 낮은 확장성 문제를 해결하기 위해.
• 비선형 맵과 분류기 파라미터를 동시에 학습시켜 수동 커널 선택이 필요 없도록 하기 위해.
• 분류 성능을 훼손하지 않으면서도 비선형 특징 맵의 차원을 감소시키기 위해.
• 순환 구조를 가진 투영 행렬을 도입하여 고차원 데이터에 대해 효율성을 향상시키기 위해.
• 무작위 특징 맵에 대한 확장 가능하고 데이터에 의존하는 대안을 제공하여, 압축되고 고성능의 커널 근사화를 달성하기 위해.

제안 방법

• 학습 데이터로부터 직접 비선형 특징 맵을 학습하는 공동 최적화 프레임워크를 제안하며, 분류 손실을 목적 함수로 사용한다.
• 무작위 푸리에 특징 프레임워크를 기반으로 하지만, 무작위 파라미터 생성을 엔드 투 엔드 학습을 통한 맵 파라미터 학습으로 대체한다.
• 순환 행렬을 사용하여 계산과 메모리 비용을 감소시키는 순환 비선형 맵(CNM)을 도입한다. 이는 FFT 기반 연산을 통해 실현된다.
• 분류기 가중치와 순환 투영 행렬 파라미터를 동시에 최적화하기 위해 교차 최소화를 활용한다.
• 순환 컨볼루션 성질을 활용해 순환 행렬 파라미터에 대한 기울기를 유도하며, O(d log d)의 기울기 계산을 가능하게 한다.
• 특징 맵에서余弦 비선형성을 사용한다: Z(x) = cos(Rx), 여기서 R은 학습된 순환 행렬이다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 학습을 통해 비선형 특징 맵을 학습시킬 수 있을까? 이는 무작위 특징 맵보다 더 압축적이고 성능이 뛰어난가?
• RQ2 특징 맵과 분류기 파라미터를 동시에 최적화하면 수동 커널 선택이 필요 없어지는가?
• RQ3 순환 구조를 가진 투영 행렬을 사용할 경우 비선형 맵의 효율성과 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 계산 비용과 메모리 사용량을 크게 줄였음에도 불구하고 무작위 푸리에 특징보다 유사하거나 더 높은 정확도를 달성할 수 있는가?
• RQ5 이 프레임워크는 알려진 커널에 대해 압축된 커널 근사화에 얼마나 널리 활용될 수 있는가?

주요 결과

• 최적화된 CNM는 k=1000 차원으로서 USPS (d)에서 91.96%의 정확도를 달성하며, 무작위 푸리에 특징(89.05%)과 순환-무작위(89.40%)를 모두 초월한다.
• MNIST (d)에서 최적화된 CNM는 92.73%의 정확도를 기록하며, 무작위 푸리에 특징(91.33%)과 순환-무작위(91.01%)를 모두 뛰어넘는다.
• CIFAR (d)에서 최적화된 CNM는 71.17%의 정확도를 달성하며, 순환-무작위(65.21%)를 크게 앞서고, 무작위 푸리에 특징(69.14%)과 유사한 성능을 내며 비용을 감소시킨다.
• 순환 구조는 계산 복잡도를 O(kd)에서 O(k log d)로, 메모리 사용량을 O(kd)에서 O(k)로 감소시켜 고차원 데이터에 대한 확장성을 보장한다.
• 순환 최적화된 맵는 무작위 푸리에 특징과 거의 동일한 평균 제곱 오차(MSE)를 기록하여 강력한 커널 근사 품질을 확인한다.
• 프레임워크는 커널 근사화와 학습을 동시에 수행할 수 있으며, 데이터 기반 맵 학습을 통해 분류 작업에 최적의 커널을 효과적으로 발견한다.