[論文レビュー] Fast Estimation of Multinomial Logit Models: R Package mnlogit

Asad Hasan, Zhiyu Wang+1 more|arXiv (Cornell University)|Apr 11, 2014

Statistical Methods and Inference参考文献 20被引用数 18

ひとこと要約

本稿では、ニュートン・ラプソン法におけるヘシアン行列計算の構造的・スパース行列の特徴を活用することで、最適化を施したHessian行列計算によって多項ロジスティック回帰モデルの推定を高速化するRパッケージmnlogitを紹介する。単一コア環境では10倍～50倍の高速化を達成し、8コア環境でOpenMP並列処理を適用することで最大4倍の追加高速化が得られ、大規模離散選択モデルの推定において、mlogit や nnet といった既存のRパッケージを著しく上回る性能を発揮する。

ABSTRACT

We present R package mnlogit for training multinomial logistic regression models, particularly those involving a large number of classes and features. Compared to existing software, mnlogit offers speedups of 10x-50x for modestly sized problems and more than 100x for larger problems. Running mnlogit in parallel mode on a multicore machine gives an additional 2x-4x speedup on up to 8 processor cores. Computational efficiency is achieved by drastically speeding up calculation of the log-likelihood function's Hessian matrix by exploiting structure in matrices that arise in intermediate calculations.

研究の動機と目的

• ニュートン・ラプソン法における反復毎の計算コストが高いため、大規模多項ロジスティック回帰モデルの推定に生じる計算ボトルネックを解消すること。
• 計量経済学で一般的な多様なデータ型およびモデル拡張に対応できる柔軟性を維持しつつ、高性能なRパッケージを開発すること。
• ヘシアン行列計算における行列構造とスパarsityを活用することで、mlogit や nnet、VGAM といった既存のRパッケージと比較して顕著な高速化を達成すること。
• 最適化された数値アルゴリズムを用いて、数千クラスおよび特徴量を含む多項ロジスティック回帰モデルの効率的かつ最大尤度推定を可能にすること。
• 個々の個人に特有のデータと代替選択肢に特有のデータの両方をサポートする、ユーザーフレンドリーで式ベースのインターフェースを提供すること。

提案手法

• ヘシアン行列の途中計算における内在的な行列構造とスパarsityを活用することで、ニュートン・ラプソン法の最適化を実施する。
• 繰り返し現れる行列パターンの代数的簡略化を通じて、重複する演算を回避するカスタムヘシアン計算の実装。
• OpenMPを用いてヘシアンおよび勾配計算を複数CPUコアに並列化し、8コア環境で最大4倍の高速化を達成。
• 個々の個人と代替選択肢に特有の予測子を柔軟に指定できる、標準的なRモデリング構文と互換性のある式インターフェースの設計。
• CRANに公開されたRパッケージとして統合し、大規模データセット用の後方互換性とパフォーマンスチューニングを実装。
• mlogit、nnet、VGAMとのパフォーマンス比較のため、クラス数や特徴量の異なる合成データを用いてベンチマークを実施。

実験結果

リサーチクエスチョン

• RQ1 ヘシアン行列の内在的構造を活用することで、多項ロジスティック回帰モデルにおけるニュートン・ラプソン最適化の計算コストを低減できるか？
• RQ2 中間計算におけるスパarsityと行列構造を活用することで、大規模多項ロジスティック回帰推定におけるヘシアン評価がどの程度高速化できるか？
• RQ3 アルゴリズム最適化と共有メモリ並列処理を組み合わせることで、R環境でどの程度のパフォーマンス向上が得られるか？
• RQ4 mlogit や nnet、VGAM といった既存のRパッケージと比較して、本手法の実装は大規模離散選択問題において速度と正確性の両面で優れているか？
• RQ5 高性能な多項ロジスティック回帰パッケージは、優れた速度を発揮しつつも、複雑な計量経済モデルに対しても柔軟性を維持できるか？

主な発見

• mnlogitパッケージは、行列構造の活用によるヘシアン計算最適化により、中程度の規模の問題でmlogitと比較して10倍～50倍の高速化を達成する。
• より大きな問題に対しては、mlogitと比較して100倍以上の高速化を実現し、問題サイズに応じた強いスケーラビリティを示す。
• OpenMPを用いた並列実行により、8コア環境で2倍～4倍の追加高速化が得られ、単一コアのmlogitと比較して最大400倍の総合的高速化が達成される。
• nnet や VGAM と比較しても顕著な性能優位性を示し、テストされたワークロードではnnetと比較して最大100倍、VGAMと比較して最大50倍の高速化が達成される。
• 個々の個人に特有のデータと代替選択肢に特有の予測子の両方のデータ形式に対して、性能向上が一貫して確認され、本手法の堅牢性が裏付けられる。
• ネストド・ロジスティック回帰やヘテロスケダスティック・ロジスティック回帰といった複雑なモデルをmlogitと同等の機能を維持しながら、優れたパフォーマンスを発揮する。