[論文レビュー] Banded Matrix Operators for Gaussian Markov Models in the Automatic Differentiation Era

Nicolas Durrande, Vincent Adam+3 more|arXiv (Cornell University)|Feb 26, 2019

Bayesian Modeling and Causal Inference被引用数 15

ひとこと要約

本稿では、ガウスマルコフモデル向けに効率的で微分可能な帯行列演算子のセットを導入し、線形時間・空間計算量でスケーラブルな変分推論およびハミルトニアンモンテカルロを可能にする。PyTorch や TensorFlow などの自動微分フレームワークにこれらの演算子を統合することで、帯行列の精度行列を有する大規模モデルにおいて、密度行列法と比較して数個のオーダーの高速化とメモリ節約が達成される。

ABSTRACT

Banded matrices can be used as precision matrices in several models including linear state-space models, some Gaussian processes, and Gaussian Markov random fields. The aim of the paper is to make modern inference methods (such as variational inference or gradient-based sampling) available for Gaussian models with banded precision. We show that this can efficiently be achieved by equipping an automatic differentiation framework, such as TensorFlow or PyTorch, with some linear algebra operators dedicated to banded matrices. This paper studies the algorithmic aspects of the required operators, details their reverse-mode derivatives, and show that their complexity is linear in the number of observations.

研究の動機と目的

• 帯行列の精度行列を有するガウスマルコフモデルに対して、スケーラブルで勾配ベースの推論（例：変分推論、HMC）を可能にすること。
• ガウス過程や状態空間モデルにおける密度行列演算の計算ボトル neck を、帯行列構造を活用することで克服すること。
• PyTorch や TensorFlow などの現代的な自動微分ライブラリと互換性を持つ汎用フレームワークを提供すること。
• 帯行列演算子の逆モード微分を導出・実装し、生成モデルのエンドツーエンド学習を可能にすること。
• 大規模な時空間データを有する実世界のデータセットにおいて、フレームワークの実用的スケーラビリティおよび予測性能を示すこと。

提案手法

• 帯行列向けの特殊な線形代数演算子（行列・ベクトル積、コレスキー分解、三角行列の解法など）の設計および実装。
• すべての主要な帯行列演算子に対して正確な逆モード微分を導出することで、自動微分を支援すること。
• ノードの再順序付けにより帯行列の帯域を最小化するため、Cuthill-McKee アルゴリズムを用いる。
• GPflow フレームワークに帯行列演算子を統合し、帯行列精度行列を有するモデルのエンドツーエンド学習を可能にする。
• 帯行列構造を活用することで、時間計算量を O(N³) から O(Nl²) に、空間計算量を O(N²) から O(Nl) に削減する。ここで l は帯域である。
• フレームワークを状態空間モデルおよびガウスマルコフランダムフィールドに適用し、モデルクラスにわたる一般性を示す。

実験結果

リサーチクエスチョン

• RQ1 帯行列演算は、スケーラブルな推論を実現するための自動微分フレームワークに効率的に統合可能で、微分可能であるか？
• RQ2 大規模モデルにおいて、密度行列実装と比較して、提案フレームワークの性能とメモリ使用量はどのように異なるか？
• RQ3 フレームワークは、ハミルトニアンモンテカルロや変分推論といった高度な推論手法を、線形複雑度でサポートできるか？
• RQ4 ノードの再順序付け（例：Cuthill-McKee）は、帯行列精度行列の帯域および計算効率にどのような影響を与えるか？
• RQ5 複雑な時空間依存性を有する実世界のデータセットにおいて、フレームワークの性能はいかがであるか？

主な発見

• 提案フレームワークにより、計算複雑度は O(N³) から O(Nl²) に、メモリ使用量は O(N²) から O(Nl) に削減され、N=11,284、l=117 のデータセットでは約 10⁴ 倍の高速化が達成された。
• フレームワークは、帯行列精度行列を有するハミルトニアンモンテカルロおよび変分推論を、線形時間・空間計算量で効果的にサポートした。
• 変分推論モデルはテストセットで対数尤度 -15,778.5 を達成し、ベースライン（対数尤度：-17,146.6）および HMC（-15,873.6）を上回った。
• モデルは滑らかな潜在的トレンドを効果的に捉え、病院やホテルなど需要が高まる都市部の場所を特定し、タクシー需要の予測値を上昇させた。
• 自動微分を用いたエンドツーエンド学習により、生成モデルの学習が可能であることを示し、帯行列演算子を現代のディープラーニングパイプラインに統合する可能性を実証した。
• 本稿では、スパースな逆行列部分の微分に関する文献のギャップを特定し、今後の研究における必要性を示唆した。