[論文レビュー] Structured adaptive and random spinners for fast machine learning computations

Mariusz Bojarski, Anna Choromanska+7 more|arXiv (Cornell University)|Oct 19, 2016

Stochastic Gradient Optimization Techniques被引用数 21

ひとこと要約

本稿では、回転を組み込んだ3つの構造的ブロックの積として構成される、効率的でパラメータ化可能な行列である「構造的スピンナーズ」を導入する。密行列の代わりにこれらの構造的代替手法を用いることで、高速フーリエ変換技術を用いて、空間計算量を準二次以下に抑え、計算時間も O(n log m) に抑えることができ、カーネル近似、次元削減、LSH、ディープラーニング、凸最適化において、理論的保証と実験的検証を伴う顕著な高速化を実現する。

ABSTRACT

We consider an efficient computational framework for speeding up several machine learning algorithms with almost no loss of accuracy. The proposed framework relies on projections via structured matrices that we call Structured Spinners, which are formed as products of three structured matrix-blocks that incorporate rotations. The approach is highly generic, i.e. i) structured matrices under consideration can either be fully-randomized or learned, ii) our structured family contains as special cases all previously considered structured schemes, iii) the setting extends to the non-linear case where the projections are followed by non-linear functions, and iv) the method finds numerous applications including kernel approximations via random feature maps, dimensionality reduction algorithms, new fast cross-polytope LSH techniques, deep learning, convex optimization algorithms via Newton sketches, quantization with random projection trees, and more. The proposed framework comes with theoretical guarantees characterizing the capacity of the structured model in reference to its unstructured counterpart and is based on a general theoretical principle that we describe in the paper. As a consequence of our theoretical analysis, we provide the first theoretical guarantees for one of the most efficient existing LSH algorithms based on the HD3HD2HD1 structured matrix [Andoni et al., 2015]. The exhaustive experimental evaluation confirms the accuracy and efficiency of structured spinners for a variety of different applications.

研究の動機と目的

• 機械学習アルゴリズムにおける密行列の投影の高い計算コストとメモリ使用量を軽減すること。
• 正確性を維持しつつ、時間と空間計算量を著しく削減する汎用的で構造的なフレームワークを構築すること。
• 構造的行列の有効性を理論的に裏付けること、特に従来説明がつかなかった手法（例：クロス・ポリトープLSHにおけるHD3HD2HD1）の理論的根拠を提供すること。
• 一貫した理論的原則の下で、既存の構造的行列アプローチを統一・一般化すること。
• ランダム特徴マップ、ニュートンスケッチ、量子化を含む、複数のML応用分野においてフレームワークを検証すること。

提案手法

• 回転を組み込んだ3つの行列ブロックの積として構成される、高パラメータ化された構造的行列である構造的スピンナーズを提案する。
• ハダマード行列（H）とランダムまたは適応的対角行列（D）を組み合わせ、HD3HD2HD1のような行列を構成し、FFTを用いて高速計算を実現する。
• カーネル近似（ランダム特徴マップを用いて）、次元削減、クロス・ポリトープLSH、ディープラーニング、ニュートンスケッチなど、多様なMLタスクにフレームワークを適用する。
• 構造的モデルの表現能力を非構造的モデルと比較する一般的な原理に基づいた理論的分析を用いる。
• 構造的ニューラルネットワークの成功を説明する新規な理論的フレームワークを導入し、HD3HD2HD1に基づくLSHに対する初の保証を提供する。
• 最適化およびカーネル近似において、構造的スピンナーズと正確な・非構造的ベースラインとの比較に、ウォールクロック時間と収束指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 構造的行列は、機械学習における計算コストとメモリ使用量を著しく削減しながらも、高い精度を維持できるように設計可能だろうか？
• RQ2 HD3HD2HD1のような構造的行列がクロス・ポリトープLSHで最先端の性能を発揮するのはなぜで、その理論的根拠は何か？
• RQ3 学習済みおよびランダム化されたバリエーションを含む多様な構造的行列族の有効性を、統一的な理論的枠組みで説明可能だろうか？
• RQ4 最適化およびカーネル近似タスクにおいて、構造的スピンナーズは正確または非構造的投影と比べて収束速度と精度でどのように差がでるか？
• RQ5 構造的モデルの表現能力とその非構造的同等物との間には、理論的にどのような関係があるか？

主な発見

• 構造的スピンナーズは、投影処理において O(n log m) の計算時間に抑えられ、特にFFTを適用した場合、密行列の O(mn) に比べて顕著に高速化される。
• 空間計算量が準二次以下に抑えられ、多くの場合線形または定数にまで低下するため、メモリ制限のあるシステムへの導入が可能になる。
• ニュートンスケッチ最適化において、構造的スピンナーズは計算量を O(nd²) から O(dn log n + md²) に削減し、低次元領域においてウォールクロック時間で顕著な向上が得られた。
• 最も高速な既知のクロス・ポリトープLSHに使用されるHD3HD2HD1行列は、本研究で初めて理論的根拠が提供された。
• 実験的結果では、構造的スピンナーズがロジスティック回帰およびカーネル近似において正確な手法と同等の収束速度を達成し、顕著な高速化を実現した。
• 本フレームワークは、従来の構造的行列アプローチ（Pモデルなど）を統一・一般化し、構造的ニューラルネットワークアーキテクチャに対する初の理論的保証を提供した。