[論文レビュー] A likelihood-based approach for multivariate categorical response regression in high dimensions

Aaron J. Molstad, Adam J. Rothman|arXiv (Cornell University)|Jul 15, 2020

Advanced Statistical Methods and Models参考文献 36被引用数 5

ひとこと要約

本論文は、高次元の多変量カテゴリカル応答に対して尤度に基づく罰則付き回帰手法を提案し、周辺分布、対数オッズ比、または両方に影響を与える予測子の同時推定を可能にする。この手法は構造化された罰則を用いて変数選択と解釈可能性を達成し、パニックセルリスク予測の応用において、予測精度とスパarsityの両面で既存手法を上回る性能を示す。

ABSTRACT

We propose a penalized likelihood method to fit the bivariate categorical response regression model. Our method allows practitioners to estimate which predictors are irrelevant, which predictors only affect the marginal distributions of the bivariate response, and which predictors affect both the marginal distributions and log odds ratios. To compute our estimator, we propose an efficient first order algorithm which we extend to settings where some subjects have only one response variable measured, i.e., the semi-supervised setting. We derive an asymptotic error bound which illustrates the performance of our estimator in high-dimensional settings. Generalizations to the multivariate categorical response regression model are proposed. Finally, simulation studies and an application in pan-cancer risk prediction demonstrate the usefulness of our method in terms of interpretability and prediction accuracy. An R package implementing the proposed method is available for download at github.com/ajmolstad/BvCategorical.

研究の動機と目的

• p >> n の状況下で、多変量カテゴリカル応答回帰のための罰則付き尤度フレームワークを開発すること。
• 周辺分布にのみ影響する予測子、対数オッズ比にのみ影響する予測子、または両方に影響する予測子を区別すること。
• 不要な予測子や応答の関連性に影響を与える予測子を特定することで、変数選択を可能にすること。
• 一部の被験者においては1つの応答しか測定されていない半教師あり設定にこの手法を拡張すること。
• 高次元漸近的条件下での推定量の漸近的誤差バウンドを導出し、理論的保証を提供すること。

提案手法

• 係数β∗ ∈ ℝ^{p×J×K} を持つ三方向テンソルを用いた多項ロジスティック回帰フレームワークにより、二変量カテゴリカル応答モデルを定式化する。
• 係数ベクトルのスパarsityを促進する構造化された罰則を適用し、不要な予測子（β∗_{m,:,:} = 0）を同定する。
• 周辺分布にのみ影響する予測子を特定するための第二の罰則を組み込み、それらが対数オッズ比に与える影響を制約する。
• 主要化最小化とブロック座標降下法に基づく効率的な最適化アルゴリズムを用いて推定量を計算する。
• 欠損した応答成分を扱えるように尤度を変更することで、半教師あり設定への拡張を実現する。
• 高次元漸近的条件下での推定量の漸近的誤差バウンドを導出し、一貫性を確立する。

実験結果

リサーチクエスチョン

• RQ1 罰則付き尤度アプローチは、多変量カテゴリカル応答において、周辺分布にのみ影響する予測子、関連性（対数オッズ比）にのみ影響する予測子、または両方に影響する予測子を効果的に区別できるか？
• RQ2 高次元多変量カテゴリカル回帰において、周辺効果および関連効果の解釈可能性を保ちながら、どのように変数選択を実行できるか？
• RQ3 p >> n の高次元設定において、提案手法の推定量の理論的性能保証は何か？
• RQ4 実世界のデータにおいて、予測精度とスパarsityの観点から、既存手法と比較して本手法はどのように差をつけるか？
• RQ5 一部の被験者において1つの応答しか観測されていない半教師あり設定に、本手法を拡張できるか？

主な発見

• パニックセルリスク予測研究において、LO-Multは全手法の中で最小の連合分類誤差（28.81％）を達成した。
• LO-Multは平均して64.56遺伝子しか選択しなかったが、他の全手法より少ないことから、優れたスパarsityと解釈可能性を示した。
• 年齢と腫瘍ステージが周辺分布にのみ影響することを正しく同定しており、臨床的直観と整合的であった。
• CAV1は周辺確率にのみ影響すると推定されたが、CLN8は対数オッズ比に影響を与えた。CLN8は全がん種においてより強い効果を示した。
• 可視化結果から、CLN8の過剰発現はCAV1に比べ、特にKIRCにおいて失敗確率の上昇をより顕著に示した。
• 漸近的誤差バウンドにより、高次元領域における推定量の一貫性が確認され、理論的信頼性が裏付けられた。