[논문 리뷰] Low-Precision Random Fourier Features for Memory-Constrained Kernel Approximation

Jian Zhang, Avner May외 2명|arXiv (Cornell University)|2018. 10. 31.

Face and Expression Recognition인용 수 4

한 줄 요약

이 논문은 엄격한 메모리 제약 조건 하에서 고계수 커널 근사화를 가능하게 하기 위해 저정밀도 무작위 푸리에 기저 함수(Low-Precision Random Fourier Features, LP-RFFs)를 제안한다. RFFs를 저정밀도 고정소수점 표현으로 양자화함으로써 LP-RFFs는 전체 정밀도 RFFs 및 Nyström 방법과 유사한 일반화 성능를 달성하면서도, 메모리 사용량을 각각 3배~10배, 50배~460배 감소시킨다. 이는 개선된 오차 척도 기반의 이론적 보장과 함께 제공된다.

ABSTRACT

We investigate how to train kernel approximation methods that generalize well under a memory budget. Building on recent theoretical work, we define a measure of kernel approximation error which we find to be more predictive of the empirical generalization performance of kernel approximation methods than conventional metrics. An important consequence of this definition is that a kernel approximation matrix must be high rank to attain close approximation. Because storing a high-rank approximation is memory intensive, we propose using a low-precision quantization of random Fourier features (LP-RFFs) to build a high-rank approximation under a memory budget. Theoretically, we show quantization has a negligible effect on generalization performance in important settings. Empirically, we demonstrate across four benchmark datasets that LP-RFFs can match the performance of full-precision RFFs and the Nyström method, with 3x-10x and 50x-460x less memory, respectively.

연구 동기 및 목표

• 좋은 일반화 성능를 확보하기 위해 많은 수의 기저 함수가 필요한 커널 근사화 방법의 메모리 제약 문제를 해결하기 위해.
• 기존의 프로베니우스 또는 스펙트럴 오차와 같은 전통적 노름보다 더 예측력 있는 커널 근사화 오차 측도를 규명하기 위해.
• 고정된 메모리 예산 내에서 높은 일반화 성능를 유지하는 메모리 효율적인 방법을 설계하기 위해.
• 저정밀도 양자화된 무작위 푸리에 기저 함수가 성능 손실 없이 고계수 근사화를 달성할 수 있는지 보여주기 위해.

제안 방법

• 일반적인 노름보다 일반화를 더 잘 예측하는 새로운 오차 척도인 $(\Delta_1, \Delta_2)$-스펙트럴 근사화를 도입한다.
• 메모리 예산 내에서 기저 수를 늘릴 수 있도록 각 기저를 저비트 고정소수점 형식으로 저장하는 저정밀도 무작위 푸리에 기저 함수(Low-Precision RFFs, LP-RFFs)를 제안한다.
• 노이즈가 정규화 파rameter보다 훨씬 작을 경우, 양자화가 일반화 성능에 미치는 영향이 미미함을 이론적으로 보여준다.
• 저정밀도 모델 학습을 가능하게 하기 위해 LM-HALP 학습 알고리즘을 사용하여 빠른 저정밀도 행렬 연산과 모델 파rameter의 메모리 감소를 달성한다.
• 기울기 편향 감소를 위해 듀얼 샘플링을 적용했지만, 初기 실험 결과 성능 향상이 뚜렷하지 않게 나타났다.

실험 결과

연구 질문

• RQ1 왜 기존의 프로베니우스 및 스펙트럴 노름과 같은 표준 커널 근사화 오차 척도가 실질적인 일반화 성능를 예측하지 못하는가?
• RQ2 무작위 푸리에 기저 함수의 저정밀도 양자화가 성능 손실 없이 메모리 사용량을 크게 줄일 수 있는가?
• RQ3 $(\Delta_1, \Delta_2)$-스펙트럴 근사화 척도가 기존 척도보다 Nyström과 RFF의 상대적 성능을 더 잘 설명하는가?
• RQ4 LP-RFFs와 함께 저정밀도 모델 학습이 최종 모델 정확도에 어떤 영향을 미치는가?

주요 결과

• TIMIT 데이터셋에서 50,000개의 표준 RFFs는 20,000개의 Nyström 기저와 동일한 테스트 정확도를 달성하지만, Nyström이 프로베니우스 오차는 1.7배, 스펙트럴 오차는 17배 작게 나타나는 바, 메모리 사용량은 10배 감소한다.
• LP-RFFs는 TIMIT, YearPred, CovType, Census 등 네 가지 벤치마크 데이터셋에서 전체 정밀도 RFFs 및 Nyström 방법과 동일한 성능를 보이며, 전체 정밀도 RFFs 대비 3배~10배의 메모리 절감을 달성한다.
• LP-RFFs는 Nyström 방법 대비 50배~460배의 메모리 절감을 보이며, 메모리 제약 조건 하에서 뚜렷한 효율성 향상을 입증한다.
• 8비트 LP-RFFs와 8비트 LM-HALP 학습을 조합할 경우, 기저 수가 최소 10,000개 이상일 경우 전체 정밀도 학습과 유사한 성능를 달성한다.
• Gaussian 커널을 사용한 YearPred 데이터셋에 대한 초기 실험에서 듀얼 샘플링은 눈에 띄는 성능 향상을 가져오지 못했다.