[論文レビュー] Low-Precision Random Fourier Features for Memory-Constrained Kernel Approximation

Jian Zhang, Avner May+2 more|arXiv (Cornell University)|Oct 31, 2018

Face and Expression Recognition被引用数 4

ひとこと要約

本稿では、厳密なメモリ制約下で高ランクカーネル近似を可能にする低精度ランダムフーリエ特徴量（LP-RFFs）を提案する。RFFsを低精度固定小数点表現に量子化することにより、LP-RFFsはフル精度RFFsおよびNyström法と同等の一般化性能を達成しながら、それぞれ3倍〜10倍および50倍〜460倍のメモリ使用量削減を実現し、洗練された誤差指標に基づく近似品質の理論的保証を有する。

ABSTRACT

We investigate how to train kernel approximation methods that generalize well under a memory budget. Building on recent theoretical work, we define a measure of kernel approximation error which we find to be more predictive of the empirical generalization performance of kernel approximation methods than conventional metrics. An important consequence of this definition is that a kernel approximation matrix must be high rank to attain close approximation. Because storing a high-rank approximation is memory intensive, we propose using a low-precision quantization of random Fourier features (LP-RFFs) to build a high-rank approximation under a memory budget. Theoretically, we show quantization has a negligible effect on generalization performance in important settings. Empirically, we demonstrate across four benchmark datasets that LP-RFFs can match the performance of full-precision RFFs and the Nyström method, with 3x-10x and 50x-460x less memory, respectively.

研究の動機と目的

• 一般化性能を確保するための多数の特徴量を必要とするカーネル近似手法におけるメモリボトルネックを解消すること。
• Frobenius誤差やスペクトル誤差といった従来のノルムよりも、一般化性能をより的確に予測できるカーネル近似誤差の新たな指標を同定すること。
• 固定メモリ予算下でも高い一般化性能を維持できる、メモリ効率の良い手法を設計すること。
• 低精度量子化されたランダムフーリエ特徴量が、性能を損なわずに高ランク近似を達成できることを示すこと。

提案手法

• 一般化性能の予測能を向上させるために、従来のノルムよりも優れた誤差指標である $(\Delta_1, \Delta_2)$-スペクトル近似を導入する。
• 各特徴量を低ビット固定小数点形式で格納することで、メモリ予算内により多くの特徴量を収容できる低精度ランダムフーリエ特徴量（LP-RFFs）を提案する。
• ノイズが正則化パラメータに比べて著しく小さい場合には、量子化の一般化性能への影響が無視できると理論的に示す。
• 高速な低精度行列演算とパラメータのメモリ削減を可能にする、LM-HALPトレーニングアルゴリズムを用いて低精度モデル学習を実施する。
• 勾配バイアスを低減するためにダブルサンプリングを適用したが、初期実験では顕著な性能向上は得られなかった。

実験結果

リサーチクエスチョン

• RQ1 なぜFrobenius誤差やスペクトルノルムといった標準的なカーネル近似誤差指標は、実際の一般化性能を予測できないのか？
• RQ2 ランダムフーリエ特徴量の低精度量子化は、性能を損なわずにメモリ使用量を著しく削減できるのか？
• RQ3 $(\Delta_1, \Delta_2)$-スペクトル近似指標は、従来の指標に比べてNyström法とRFFsの相対的性能をどのようによりよく説明できるのか？
• RQ4 LP-RFFsと組み合わせた低精度モデル学習が、最終的なモデル精度に与える影響は何か？

主な発見

• TIMITデータセットでは、20,000個のNyström特徴量と同等のホールドアウト精度を50,000個の標準RFFsが達成するが、Nyström法がFrobenius誤差1.7倍小さいにもかかわらず、メモリ使用量は10倍少ない。
• 4つのベンチマークデータセット（TIMIT、YearPred、CovType、Census）において、LP-RFFsはフル精度RFFsおよびNyström法と同等の性能を発揮するが、フル精度RFFsに比べ3倍〜10倍のメモリ削減を実現する。
• Nyström法に比べてLP-RFFsは50倍〜460倍のメモリ削減を達成し、メモリ制約下での顕著な効率性向上を示している。
• 8ビットのLP-RFFsと8ビットのLM-HALPトレーニングを組み合わせたモデルは、特徴量数が少なくとも10,000以上ある場合、フル精度学習と同等の性能を達成する。
• ガウスカーネルを用いたYearPredデータセットにおける初期実験では、ダブルサンプリングによる性能向上は顕著ではなかった。