[논문 리뷰] Orthogonal Random Features

Felix X. Yu, Ananda Theertha Suresh외 3명|arXiv (Cornell University)|2016. 10. 28.

Generative Adversarial Networks and Image Synthesis인용 수 104

한 줄 요약

이 논문은 무작위 가우시안 행렬을 직교(및 구조화된) 행렬로 대체하는 것이 Gaussian 커널에 대한 커널 추정 오차를 감소시키고, 계산 속도와 비슷한 정확도를 갖는 Structured Orthogonal Random Features(SORF)를 도입한다는 것을 보여준다.

ABSTRACT

We present an intriguing discovery related to Random Fourier Features: in Gaussian kernel approximation, replacing the random Gaussian matrix by a properly scaled random orthogonal matrix significantly decreases kernel approximation error. We call this technique Orthogonal Random Features (ORF), and provide theoretical and empirical justification for this behavior. Motivated by this discovery, we further propose Structured Orthogonal Random Features (SORF), which uses a class of structured discrete orthogonal matrices to speed up the computation. The method reduces the time cost from $\mathcal{O}(d^2)$ to $\mathcal{O}(d \log d)$, where $d$ is the data dimensionality, with almost no compromise in kernel approximation quality compared to ORF. Experiments on several datasets verify the effectiveness of ORF and SORF over the existing methods. We also provide discussions on using the same type of discrete orthogonal structure for a broader range of applications.

연구 동기 및 목표

• 가우시안 커널에 대한 무작위 Fourier 특징을 통한 커널 근사에 대한 동기 부여 및 분석.
• 투영 행렬의 직교성이 커널 추정 오차를 줄이는지 Demonstrate.
• 계산을 O(d^2)에서 O(d log d)로 줄이는 Structured Orthogonal Random Features(SORF) 도입.
• 직교 및 구조화된 투영에 대한 이론적 근거를 제시하고 여러 데이터셋에 걸쳐 실험적으로 검증.

제안 방법

• ORF를 Gaussian 무작위 행렬 G를 S Q로 교체하고, Q는 임의의 직교 행렬이며 S는 행 당 노름을 맞추기 위한 대각 스케일링으로 구성한다.
• ORF가 Gaussian 커널의 편향 없는 추정량임을 보이고 표준 RFF에 비해 분산 감소를 분석한다.
• W_ORF′ = sqrt(d)/σ Q인 간소화 변형인 ORF′를 도입하고 편향/분산 보장을 도출한다.
• SORF를 W_SORF = (sqrt(d)/σ) H D1 H D2 H D3로 정의하며, 여기서 D_i는 임의의 대각 부호 행렬이고 H는 Walsh–Hadamard 행렬로 구성되어 O(D log d)의 계산을 가능하게 하면서 커널 품질은 거의 동일하게 유지한다.
• Hadamard-대각 구조가 커널 근사 밖의 일반적인 응용에도 적용 가능하다고 논의한다.

실험 결과

연구 질문

• RQ1 무작위 투영 행렬에 직교성을 강제하는 것이 표준 Random Fourier Features보다 Gaussian 커널 근사를 개선하는가?
• RQ2 구조화된 직교 변환(SORF)이 계산 비용을 크게 줄이면서 유사한 커널 품질을 제공하는가?
• RQ3 RFF와 비교할 때 ORF와 SORF의 편향 및 분산 영향은 데이터 차원과 샘플 크기에 따라 어떻게 달라지는가?
• RQ4 제안된 구조가 커널 근사를 넘어 다른 커널 유형 및 응용에 일반화될 수 있는가?

주요 결과

데이터셋	D=2d	D=4d	D=6d	D=8d	D=10d	정확한
letter (d=16)	76.44 b1 1.04	81.61 b1 0.46	85.46 b1 0.56	86.58 b1 0.99	87.84 b1 0.59	90.10
forest (d=64)	77.61 b1 0.23	78.92 b1 0.30	79.29 b1 0.24	79.57 b1 0.21	79.85 b1 0.10	80.43
usps (d=256)	94.27 b1 0.38	94.98 b1 0.10	95.43 b1 0.22	95.66 b1 0.25	95.71 b1 0.18	95.57
cifar (d=512)	73.19 b1 0.23	75.06 b1 0.33	75.85 b1 0.30	76.28 b1 0.30	76.54 b1 0.31	78.71
mnist (d=1024)	94.83 b1 0.13	95.48 b1 0.10	95.85 b1 0.07	96.02 b1 0.06	95.98 b1 0.05	97.14
gisette (d=4096)	97.68 b1 0.28	97.74 b1 0.11	97.66 b1 0.25	97.70 b1 0.16	97.74 b1 0.05	97.60

• ORF는 RFF보다 분산이 낮은 편향 없는 Gaussian 커널 추정기를 제공하며, 특히 z = ||x−y||/σ가 작을 때 더 유리하다.
• SORF는 ORF에 거의 유사한 커널 근사 품질을 달성하면서 실행 시간을 O(D log d)로 줄이고 추가 메모리 사용을 최소화한다.
• 여섯 개 데이터셋에서 ORF와 SORF가 고정된 D에 대해 RFF보다 커널 MSE가 더 좋았고, SORF는 ORF의 성능과 거의 비슷하다.
• ORF/SORF는 SVM 설정에서 RFF에 비해 분류 정확도가 경쟁력 있거나 더 우수하며, gisette에서 최대 10배의 속도 향상과 같은 큰 속도 향상을 보인다.
• ORF′의 편향은 큰 d에서 작고, 분산은 ORF를 근사하는 경향을 보여 간소화된 변형의 실용성을 뒷받침한다.