[論文レビュー] Fast Approximation of Rotations and Hessians matrices

Michaël Mathieu, Yann LeCun|arXiv (Cornell University)|Apr 29, 2014

Matrix Theory and Algorithms参考文献 10被引用数 22

ひとこと要約

この論文では、FFTに類似した構造を持つ線形対数時間のギブンス回転の組み合わせを用いて、回転行列およびヘッセ行列の高速で学習可能な近似を提案する。これにより、対称行列演算の効率的な計算が可能となり、行列-ベクトル積および逆演算においてO(n log n)の計算量が達成される。これは、ガウス過程推論や2次最適化などの大規模機械学習応用分野における計算コストを顕著に低減する。

ABSTRACT

A new method to represent and approximate rotation matrices is introduced. The method represents approximations of a rotation matrix $Q$ with linearithmic complexity, i.e. with $\frac{1}{2}n\lg(n)$ rotations over pairs of coordinates, arranged in an FFT-like fashion. The approximation is "learned" using gradient descent. It allows to represent symmetric matrices $H$ as $QDQ^T$ where $D$ is a diagonal matrix. It can be used to approximate covariance matrix of Gaussian models in order to speed up inference, or to estimate and track the inverse Hessian of an objective function by relating changes in parameters to changes in gradient along the trajectory followed by the optimization procedure. Experiments were conducted to approximate synthetic matrices, covariance matrices of real data, and Hessian matrices of objective functions involved in machine learning problems.

研究の動機と目的

• 機械学習における共分散行列やヘッセ行列といった大規模な対称行列の逆行列計算や適用にかかる高コストを軽減すること。
• 二次的ではなく線形対数時間の複雑さを持つ、パラメータ化された学習可能な回転行列の表現を開発すること。
• 2次最適化およびベイズ推論への応用を想定し、ヘッセ行列の効率的近似を可能とすること。
• 共分散行列の効率的近似により、ガウス混合モデルおよび変分推論の計算負荷を軽減すること。
• 確率的勾配降下法を用いた最適化プロセス中に、ヘッセ行列近似のスケーラブルでリアルタイムな追跡を可能とすること。

提案手法

• 座標ペアごとにn log n / 2 個の基本的ギブンス回転を用いて回転行列Qをパラメータ化し、高速フーリエ変換に類似したバタフライ構造に配置する。
• 対称行列HをH = Q D Q^Tとして表現する。ここでDは対角行列で、Qは学習された回転行列である。これにより、行列-ベクトル乗算および逆行列計算が効率的に行える。
• 近似行列とターゲット行列との間の二乗誤差を最小化するように、確率的勾配降下法を用いて回転パラメータを学習する。
• 最適化軌道に沿ったパラメータ更新δuと勾配変化δgとの関係を用いて、ヘッセ行列の近似を実行する。
• 不重複なミニバッチから得た勾配を統合することで、ミニバッチ学習にこの手法を拡張し、ヘッセ行列近似の整合性を維持する。
• バックプロパゲーションを活用して、回転パラメータに関するヘッセ行列近似の勾配を効率的に計算し、O(n log n)の計算量を維持する。

実験結果

リサーチクエスチョン

• RQ1 O(n log n)の演算回数を持つ構造的かつ学習可能な回転行列は、ヘッセ行列や共分散行列といった大規模な対称行列を十分な精度で近似できるか？
• RQ2 ギブンス回転をFFTに類似したバタフライパターンに配置することで、複雑な行列構造を表現するのに十分な表現空間を提供できるか？
• RQ3 パラメータ更新と勾配変化のみを用いて、最適化プロセス中にヘッセ行列近似を効果的に学習および追跡できるか？
• RQ4 高次元設定において、完全な行列演算と比較して、この手法の計算コストおよびメモリ使用量はどのようにスケーリングするか？
• RQ5 この近似手法は、ガウスモデルや2次最適化における推論速度の向上にどの程度寄与できるか？

主な発見

• 行列-ベクトル積および逆行列計算において、O(n log n)の計算量が達成され、計算コストがO(n²)からO(n log n)に低減される。
• ヘッセ行列近似はO(n log n)時間で計算可能かつ微分可能であり、効率的な2次最適化を可能にする。
• 実験による検証で、合成データおよび実データの共分散行列・ヘッセ行列において、学習された回転行列が良好な近似品質を達成している。
• 不重複なミニバッチ間で勾配の整合性を保つことで、スケーラブルな学習が可能となる。
• 1イテレーションあたりの総計算オーバーヘッドは約12n log n + 3n演算であり、ヘッセ行列およびその勾配のメモリ使用量は4n log n + 2nパラメータである。
• ガウス混合モデルやベイズ推論などの推論タスクでは、行列近似を事前に計算して再利用できるため、特に効果的である。