[論文レビュー] Fast local linear regression with anchor regularization

Mathis Petrovich, Makoto Yamada|arXiv (Cornell University)|Feb 21, 2020

Sparse and Compressive Sensing Techniques参考文献 25被引用数 7

ひとこと要約

本稿では、事前計算されたアンカーモデルを用いて各サンプルの局所線形モデルを正則化する、計算効率の高い局所回帰モデルであるFast Anchor Regularized Local Linear (FALL)手法を提案する。この手法は行列積を用いて閉形式解を達成し、ネットワークラッソよりも2桁速い学習を実現しながら、合成データおよび実世界のデータセットにおいて最先端の精度を維持する。

ABSTRACT

Regression is an important task in machine learning and data mining. It has several applications in various domains, including finance, biomedical, and computer vision. Recently, network Lasso, which estimates local models by making clusters using the network information, was proposed and its superior performance was demonstrated. In this study, we propose a simple yet effective local model training algorithm called the fast anchor regularized local linear method (FALL). More specifically, we train a local model for each sample by regularizing it with precomputed anchor models. The key advantage of the proposed algorithm is that we can obtain a closed-form solution with only matrix multiplication; additionally, the proposed algorithm is easily interpretable, fast to compute and parallelizable. Through experiments on synthetic and real-world datasets, we demonstrate that FALL compares favorably in terms of accuracy with the state-of-the-art network Lasso algorithm with significantly smaller training time (two orders of magnitude).

研究の動機と目的

• ネットワークラッソという最先端の局所線形回帰手法の高い計算コストを解消するための、より高速な代替手法を提案すること。
• 複雑で非線形なデータに対して、効率的でスケーラブルかつ解釈可能な局所線形モデリングを可能にすること。
• 既存の局所回帰アプローチと比較して、学習時間を著しく短縮しながらも高い予測精度を維持する手法を開発すること。
• 正則化を施した局所線形回帰の閉形式解を提供し、高速で並列処理可能な計算を可能にすること。

提案手法

• FALL手法は、各サンプルに対してアンカーモデル（クラスタ中心を表す）を用いて正則化された局所線形モデルを学習する。
• 局所モデルが対応するアンカーモデルに近づくよう促すアンカー正則化項を最適化問題に組み込む。
• 行列積を用いて閉形式解を導出し、反復的最適化を回避することで、事前処理後は1サンプルあたりO(1)の計算量を実現する。
• アンカーモデルはクラスタリングやサンプリングを用いて事前に計算され、局所モデルの正則化の基準点として機能する。
• 局所線形構造のおかげで、学習データから離れた入力に対しても外挿が可能である。
• アンカーモデル計算後は、各局所モデルが独立して計算可能であるため、並列処理が非常に容易である。

実験結果

リサーチクエスチョン

• RQ1 ネットワークラッソよりも著しく高速な閉形式解を有する局所線形回帰モデルを構築できるか？
• RQ2 アンカーモデルによる正則化が、複雑で非線形なデータセットにおける一般化性能と予測精度を向上させるか？
• RQ3 高い性能とスケーラビリティを維持しながらも、解釈可能性を保つことができるか？
• RQ4 KNN、KRR、リッジ回帰、ラッソ、ネットワークラッソと比較して、FALLの学習時間と精度はどのように評価されるか？
• RQ5 閉形式構造のおかげで、新規の学習データに対して効率的に更新可能か？

主な発見

• FALLは、コンクリート圧縮強度、超伝導性、QSAR水中毒性、パーキンソン病遠隔モニタリングの各データセットで、最先端の予測精度を達成した。
• コンクリート圧縮強度データセットでは、ネットワークラッソを含むすべてのベースラインと比較して、平均二乗誤差の観点で顕著に優れた性能を示した。
• FALLの学習時間はネットワークラッソと比較して2桁速く、一部の実験では500倍の高速化が観測された。
• FALLはKNNと同等の高い精度を維持しながらも、はるかに効率的であったため、局所線形モデルが正確かつスケーラブルである可能性を示した。
• FALLは、n=21,263の超伝導性データセットのような大規模データセットを効果的に処理でき、ネットワークラッソがメモリ制限のため失敗した状況でも動作した。
• 閉形式解のおかげで、新規の学習データに対する効率的なインクリメンタルアップデートが可能であり、動的環境における実用的導入を支援した。