[論文レビュー] A Distributed Method for Fitting Laplacian Regularized Stratified Models

Jonathan Tuck, Shane Barratt+1 more|arXiv (Cornell University)|Apr 26, 2019

Advanced Mathematical Modeling in Engineering参考文献 79被引用数 10

ひとこと要約

本稿では、グラフに基づく正則化を用いてカテゴリカル特徴量の値ごとのパラメータ変動を滑らかにすることにより、従来の階層モデルを改善する、ラプラシアン正則化付き階層モデルの分散ADMMベースの適合手法を提案する。この手法は凸または非凸損失関数に対しグローバルまたはローカル最適化を可能にし、大規模データセットにも効率的にスケーリングでき、正則化によるパラメータ借用により欠損カテゴリに対しても対応可能である。

ABSTRACT

Stratified models are models that depend in an arbitrary way on a set of selected categorical features, and depend linearly on the other features. In a basic and traditional formulation a separate model is fit for each value of the categorical feature, using only the data that has the specific categorical value. To this formulation we add Laplacian regularization, which encourages the model parameters for neighboring categorical values to be similar. Laplacian regularization allows us to specify one or more weighted graphs on the stratification feature values. For example, stratifying over the days of the week, we can specify that the Sunday model parameter should be close to the Saturday and Monday model parameters. The regularization improves the performance of the model over the traditional stratified model, since the model for each value of the categorical `borrows strength' from its neighbors. In particular, it produces a model even for categorical values that did not appear in the training data set. We propose an efficient distributed method for fitting stratified models, based on the alternating direction method of multipliers (ADMM). When the fitting loss functions are convex, the stratified model fitting problem is convex, and our method computes the global minimizer of the loss plus regularization; in other cases it computes a local minimizer. The method is very efficient, and naturally scales to large data sets or numbers of stratified feature values. We illustrate our method with a variety of examples.

研究の動機と目的

• 特定のカテゴリカル値に対してデータがスパースまたは欠損している場合に失敗する従来の階層モデルの限界を解消すること。
• グラフ構造に基づく階層化において、隣接するカテゴリカル値間でパラメータ変動が滑らかになるようにラプラシアン正則化を組み込むことで、モデルの汎化性能を向上させること。
• 特に大規模または高次元データに対して効率的でスケーラブルかつ分散処理可能な最適化手法を構築すること。
• 訓練データに存在しないカテゴリ値に対しても、隣接する値からの正則化によるパラメータ借用を活用してモデル適合を可能にすること。

提案手法

• 本手法は、分散的にラプラシアン正則化付き階層モデルの最適化問題を解くために、交替方向乗数法（ADMM）を用いる。
• 適合問題を、重み付きグラフにおける隣接ノード間のモデルパラメータの差をペナルティとするラプラシアン正則化を含む凸最適化問題として定式化する。
• 問題を階層化カテゴリごとに分解し、局所的モデルパラメータおよび双対変数の並列計算を可能にする。
• 非凸損失関数の場合、ADMM更新において近似最小化を適用し、局所最適化のヒューリスティックとして扱う。
• 各ノードが隣接ノードとのみ通信するように、ラプラシアン行列の解法に確率的座標降下法を用いることで、分散型実装を支援する。
• 各カテゴリごとに異なるサイズのパラメータベクトルを許容し、非適用特徴のための正則化の修正に対応可能である。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造に基づく隣接カテゴリ値間でのパラメータ借用を可能にするラプラシアン正則化は、階層モデルの性能向上に寄与するか？
• RQ2 大規模データセットや多数の階層カテゴリに対して、分散最適化手法がどのように効率的にスケーリングできるか？
• RQ3 グラフ構造の影響は、特に訓練データが存在しないカテゴリにおいてモデルの汎化性能にどのように影響を与えるか？
• RQ4 非凸損失関数に対して本手法はどのように動作するか？また、その収束特性はどのようなものか？
• RQ5 隣接ノード間のローカル通信のみに依存する分散型実装が可能か？

主な発見

• 提案された分散ADMM手法は、凸損失関数に対してグローバル最小解を、非凸ケースに対してはローカル最小解を計算し、多様なモデルタイプにおいて堅牢な最適化を保証する。
• ラプラシアン正則化により、訓練データに存在しないカテゴリ値に対しても、グラフ構造を通じて隣接値からの強度借用を可能にし、モデル適合が可能になる。
• 分散的かつ並列処理可能な設計のおかげで、大規模データセットおよび高次元の階層化に対し、効率的なスケーリングが実現されている。
• ラプラシアン行列に対する確率的座標降下法を用いた分散実装は、一般的な条件下で収束し、ノード間の通信をローカルに限定する。
• 可変サイズのパラメータベクトルや、特定カテゴリにおける非適用特徴のためのカスタマイズ可能な正則化をサポートする柔軟なモデリングが可能である。
• 実験的結果から、特に特定の階層レベルでデータがスパースまたは欠損している状況において、汎化性能と安定性が向上していることが示された。