[論文レビュー] TMB: Automatic Differentiation and Laplace Approximation

Kasper Kristensen, Anders Nielsen+3 more|RePEc: Research Papers in Economics|Sep 2, 2015

Drilling and Well Engineering被引用数 35

ひとこと要約

TMB は、3階微分まで可能な自動微分とラプラス近似を用いて、ランダム効果を統合することで、複雑な非線形混合モデルを高速かつ自動的にフィッティングできる R パッケージである。C++ テンプレート、スパース行列計算、OpenMP や BLAS を用いた並列化を活用することで、特に多数のランダム効果を含む大規模モデルでは ADMB より 1.5–100 倍高速化を達成する。

ABSTRACT

TMB is an open source R package that enables quick implementation of complex nonlinear random effect (latent variable) models in a manner similar to the established AD Model Builder package (ADMB, admb-project.org). In addition, it offers easy access to parallel computations. The user defines the joint likelihood for the data and the random effects as a C++ template function, while all the other operations are done in R; e.g., reading in the data. The package evaluates and maximizes the Laplace approximation of the marginal likelihood where the random effects are automatically integrated out. This approximation, and its derivatives, are obtained using automatic differentiation (up to order three) of the joint likelihood. The computations are designed to be fast for problems with many random effects (~10^6) and parameters (~10^3). Computation times using ADMB and TMB are compared on a suite of examples ranging from simple models to large spatial models where the random effects are a Gaussian random field. Speedups ranging from 1.5 to about 100 are obtained with increasing gains for large problems. The package and examples are available at http://tmb-project.org.

研究の動機と目的

• R ユーザーが複雑な非線形混合モデルにランダム効果をフィッティングできる、高パフォーマンスで使いやすいフレームワークを提供すること。
• 勾配計算における有限差分近似の限界（遅くかつ不正確）を克服すること。
• 自動微分とスパース行列技術を用いて、最大 10^6 個のランダム効果と 10^3 個のパラメータを含む大規模モデルの効率的計算を可能にすること。
• モデル評価および行列演算の両方における並列化をサポートし、マルチコアシステムでの計算をさらに高速化すること。
• CppAD、Eigen、CHOLMOD などの高性能ライブラリを活用することで、R とのシームレスな統合を実現しながら C++ レベルのパフォーマンスを維持すること。

提案手法

• ユーザーはテンプレートを用いて C++ で結合尤度関数を定義し、型の柔軟性とコンパイル時最適化を可能にする。
• 自動微分（CppAD を介して）により、尤度関数の1階、2階、3階微分を正確に計算する。
• ランダム効果を統合するためにラプラス近似が適用され、その近似の微分も自動的に計算される。
• スパース行列演算は Eigen および CHOLMOD ライブラリを用いて処理され、状態空間モデルや GMRF モデルに一般的に見られる条件付き独立構造を活用する。
• OpenMP を用いたユーザー定義関数評価および大規模スパース精度行列のコレスキー分解における BLAS を用いた並列化が可能である。
• データ入力および後処理は R と統合され、計算負荷の高い部分はコンパイル済み C++ コードにオフロードされる。

実験結果

リサーチクエスチョン

• RQ1 自動微分とラプラス近似を R パッケージに効率的に統合することで、複雑な非線形混合モデルにおける尤度ベース推論を高速化できるか？
• RQ2 ランダム効果の数が増加するモデルにおいて、TMB の性能は ADMB と比べて速度と正確性の点でどのように異なるか？
• RQ3 潜在変数モデルの精度行列におけるスパarsity をどの程度活用できるか。大規模問題（例：10^6 個のランダム効果）へのスケーリングは可能か？
• RQ4 OpenMP および BLAS を用いた並列化は、大規模モデルの計算時間を顕著に短縮できるか。コア数の増加に伴いスケーリングはどのように変化するか？
• RQ5 ラプラス近似とその勾配の評価に要する計算コストは、理論的な上限と比較してどの程度か。また、「安価な勾配」の原則を満たしているか？

主な発見

• TMB は ADMB より 1.5～100 倍の高速化を達成しており、特に大規模モデルでは性能向上が顕著である。
• 最大 10^6 個のランダム効果と 10^3 個のパラメータを含むモデルに対しても、スパarsity の有効活用と自動微分のおかげで高い速度と数値的安定性を維持している。
• ラプラス近似とその勾配の評価は、近似自体の時間の 2.8 倍未満で実行され、安価な勾配の原則が確認され、理論的上限（4）の範囲内に収まっている。
• 1 コアから 10 コアに増加させたことで、大規模モデルで 6 倍の高速化が達成され、OpenMP を用いた並列化の効率性が裏付けられた。
• 全テストケースにおいて TMB と ADMB の推定値および標準誤差は実質的に同一であり、実装の正しさが検証された。
• CppAD、Eigen、BLAS などのメンテナンスが良好なライブラリを用いた TMB のモジュラー設計は、長期的な保守性を確保し、新しいパフォーマンス向上の迅速な導入を可能にしている。