[論文レビュー] Auto-Differentiating Linear Algebra

Matthias Seeger, Asmus Hetzel+3 more|arXiv (Cornell University)|Oct 24, 2017

Gaussian Processes and Bayesian Inference参考文献 18被引用数 17

ひとこと要約

この論文は、MXNetディープラーニングフレームワークに微分可能な線形代数演算子（コレスキー分解、LQ分解、対称固有値分解、SVD）を導入し、ガウス過程やカルマンフィルタなどのベイズ的手法とディープニューラルネットワークを組み合わせたハイブリッドモデルのエンドツーエンド学習を可能にした。実装は、最小限のメモリオーヘッドで最適化されたインプレースBLAS/LAPACK呼び出しを活用することで、CPUで3倍以上の高速化、TensorFlowより一貫したGPU性能向上を達成した。

ABSTRACT

Development systems for deep learning (DL), such as Theano, Torch, TensorFlow, or MXNet, are easy-to-use tools for creating complex neural network models. Since gradient computations are automatically baked in, and execution is mapped to high performance hardware, these models can be trained end-to-end on large amounts of data. However, it is currently not easy to implement many basic machine learning primitives in these systems (such as Gaussian processes, least squares estimation, principal components analysis, Kalman smoothing), mainly because they lack efficient support of linear algebra primitives as differentiable operators. We detail how a number of matrix decompositions (Cholesky, LQ, symmetric eigen) can be implemented as differentiable operators. We have implemented these primitives in MXNet, running on CPU and GPU in single and double precision. We sketch use cases of these new operators, learning Gaussian process and Bayesian linear regression models, where we demonstrate very substantial reductions in implementation complexity and running time compared to previous codes. Our MXNet extension allows end-to-end learning of hybrid models, which combine deep neural networks (DNNs) with Bayesian concepts, with applications in advanced Gaussian process models, scalable Bayesian optimization, and Bayesian active learning.

研究の動機と目的

• ディープラーニングシステムにおける主要な線形代数プリミティブの効率的かつ自動微分可能化を実現すること。
• ガウス過程やベイズ線形回帰などの古典的機械学習モデルの実装の複雑さと実行時間の低減を図ること。
• 変分オートエンコーダーやディープガウス過程を含む、ディープラーニングとベイズモデルのハイブリッドモデルをサポートすること。
• インプレース計算とCPU・GPUにおけるチューニング済みBLAS/LAPACKライブラリの直接利用により、パフォーマンス最適化を図ること。
• ディープラーニングフレームワークの能力を、標準的なニューラルネットワーク層を超えて、基礎的な機械学習アルゴリズムを含む分野へ拡張すること。

提案手法

• MXNetにコレスキー分解、LQ分解、対称固有値分解、SVD分解を最初のクラスの微分可能演算子として実装すること。
• 高性能を実現するため、最適化されたBLASおよびLAPACKルーチンを直接呼び出す低レベルC++インターフェースの使用。
• 一時的なメモリ割り当てを最小限に抑えてメモリ効率を向上させるインプレース演算の設計。
• CPUおよびGPUにおける単精度および倍精度浮動小数点演算の両方をサポート。
• 柔軟なモデル構築を可能にするために、MXNetのシンボリックAPIおよびインペリティブAPI（Gluon）への統合。
• 各演算子に対する逆方向誤差逆伝播の微分規則を導出し、実装した。詳細なバックワードパスの導出は付録に記載。

実験結果

リサーチクエスチョン

• RQ1 コレスキー分解やSVDのような行列分解が、ディープラーニングフレームワーク内で微分可能かつ効率的に実行可能かどうか。
• RQ2 線形代数プリミティブを最初のクラスの演算子として公開することで、実装の複雑さと実行時間にどの程度の低減が達成できるか。
• RQ3 これらの演算子を用いることで、ディープニューラルネットワークとベイズ手法を組み合わせたハイブリッドモデルは、どの程度簡素化され、高速化されるか。
• RQ4 提案されたMXNetの演算子のパフォーマンス特性は、TensorFlow や PyTorch における既存実装と比べてどうか。
• RQ5 これらの演算子は、最小限のコード変更で、例えば確率的変分推論を用いたディープガウス過程のようなスケーラブルな新規モデルを可能にするか。

主な発見

• MXNetにおける微分可能な線形代数演算子の実装は、Intel MKLを用いたCPU上で、同等のTensorFlow操作と比較して3倍以上高速である。
• インプレース計算によるメモリ使用量の削減も相まって、すべてのテストワークロードにおいてGPUでTensorFlowを一貫して上回る性能を発揮。
• コード変更を最小限に抑えて、新しいモデル「確率的変分推論を用いたディープガウス過程（SV-DGP）」を実装。MNISTデータセットにおいて、5-20-50アーキテクチャでVAE-DGP（723.65）よりも高いテストログ尤度（724.83）を達成。
• 複雑なハイブリッドモデル（例：変分オートエンコーダーと組み合わせたディープガウス過程）のエンドツーエンド学習が可能となり、大幅なコード複雑性の低減が実現。
• 最適化されたインプレースBLASおよびLAPACK呼び出しにより、メモリオーバーヘッドが最小限に抑えられ、ガウス過程やカルマンスムージングのようなメモリ集約的アプリケーションにも適している。
• MXNetのGluon APIを介して静的および動的計算グラフをサポートしており、ハイブリッドモデルの柔軟な実験が可能。