[論文レビュー] Learning Sample-Specific Models with Low-Rank Personalized Regression

Benjamin J. Lengerich, Bryon Aragam+1 more|arXiv (Cornell University)|Oct 15, 2019

Explainable Artificial Intelligence (XAI)被引用数 11

ひとこと要約

本稿では、標本間の関係に関する事前知識が不要な、標本固有のモデルを推定する低ランクパーソナライズド回帰を提案する。未モデル化された共変量から潜在的な距離尺度を学習することで、個別化された回帰パラメータを同時に最適化し、正確で解釈可能かつ予測性の高いモデルを実現する。この手法はグローバルモデルを上回り、バイオメディカル分野、ファイナンス、選挙データにおける微細な非定型性を捉えることができる。

ABSTRACT

Modern applications of machine learning (ML) deal with increasingly heterogeneous datasets comprised of data collected from overlapping latent subpopulations. As a result, traditional models trained over large datasets may fail to recognize highly predictive localized effects in favour of weakly predictive global patterns. This is a problem because localized effects are critical to developing individualized policies and treatment plans in applications ranging from precision medicine to advertising. To address this challenge, we propose to estimate sample-specific models that tailor inference and prediction at the individual level. In contrast to classical ML models that estimate a single, complex model (or only a few complex models), our approach produces a model personalized to each sample. These sample-specific models can be studied to understand subgroup dynamics that go beyond coarse-grained class labels. Crucially, our approach does not assume that relationships between samples (e.g. a similarity network) are known a priori. Instead, we use unmodeled covariates to learn a latent distance metric over the samples. We apply this approach to financial, biomedical, and electoral data as well as simulated data and show that sample-specific models provide fine-grained interpretations of complicated phenomena without sacrificing predictive accuracy compared to state-of-the-art models such as deep neural networks.

研究の動機と目的

• 従来の機械学習モデルがグローバルパターンに過剰に依存するため、局所的・個別的効果を捉えることが難しいという限界を解消すること。
• 標本間の関係が事前に分かっている（例えば、事前に定義されたネットワークがある）という仮定なしに、標本固有の回帰モデルを推定できること。
• 未モデル化された共変量から得られる潜在的距離尺度と、標本固有のパラメータを同時に学習することで、サブポピュレーション間で統計的パワーを共有できるようにすること。
• 粗いクラスラベルを超えて、サブグループのダイナミクスに関する解釈可能な、微細な洞察を提供すること。
• パーソナライズドモデルが、深層ニューラルネットワークのような複雑なモデルと同等またはそれを上回る予測性能を示しつつ、解釈可能であることを実証すること。

提案手法

• 標本固有の回帰係数を推定すると同時に、標本間の関係の潜在的低ランク表現を学習するための連合最適化目的関数を定式化する。
• 類似した標本が類似した回帰パラメータを持つよう促す距離マッチング正則化項を用いる。この距離は、未モデル化された共変量から推定される。
• パラメータ行列に低ランク構造を導入することで、計算複雑性を低減し、効率的な最適化を可能にする。
• 予測子は標本ごとに固定されているが、応答変数は変動するデータにフレームワークを適用し、回帰パラメータを標本ごとに変化可能にする。
• t-SNEを用いた可視化により、パーソナライズドモデルから得られる標本埋め込みの解釈を図る。
• GitHubに公開されたPython実装により、再現性を確保するとともに、実世界のデータセットへの応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標本間の類似性に関する事前知識や事前のネットワークがなくても、標本固有のモデルを効果的に推定できるか？
• RQ2 パーソナライズド回帰は、グローバルモデルや混合モデルと比較して、真の効果サイズをどれほど正確に回復できるか？
• RQ3 非均質なデータセットにおいて、パーソナライズドモデルは予測精度を向上させつつ、解釈可能性を維持できるか？
• RQ4 パーソナライズドモデルは、人口統計と結果の統合的分析で捉えきれない隠れたサブグループのダイナミクスを明らかにできるか？
• RQ5 パーソナライズドモデルの埋め込みは、人口統計と結果データを連結した埋め込みと比較して、どのように異なるか？

主な発見

• パーソナライズド回帰は、変動係数モデルやディープラーニングモデルを含むベースラインモデルと比較して、標本外の予測誤差を顕著に低減する。
• シミュレーション研究において、真の効果サイズを正確に回復しており、固定関数形を仮定するモデルやグローバルパターンに依存するモデルを上回る。
• パーソナライズドモデルから得られる標本埋め込みは、人口統計と投票データの間を補間し、連結や個別のデータソースでは捉えきれない複雑なパターンを明らかにする。
• ペンシルベニア州の郡分析において、ラクアナ・カウンティとアレヘンシー・カウンティは似たような投票結果を示したが、異なる人口統計的特徴から起因するため、埋め込みが大きく分離しており、投票行動の背後にある異なる要因を明らかにする。
• パーソナライズドモデルの埋め込みは、人口統計的要因と結果の情報の両方をバランスよく反映する構造を持つが、単独で人口統計的要因や結果データに基づく埋め込みとは異なる。
• このフレームワークにより、類似した郡における投票動機の相違といった、サブグループダイナミクスの微細な解釈が可能となり、従来の統合的モデリング手法では見逃される事象を捉えることができる。