[論文レビュー] Multiple-Instance Logistic Regression with LASSO Penalty

Ray‐Bing Chen, Kuang-Hung Cheng+5 more|arXiv (Cornell University)|Jul 13, 2016

Spectroscopy and Chemometric Analyses参考文献 11被引用数 4

ひとこと要約

本稿では、インスタンスレベルのラベルが観測されておらず、唯一の袋レベルのラベル（欠陥ありまたはなし）しか入手できない製造欠陊予測において、LASSO正則化を施した複数インスタンスロジスティック回帰モデルを提案する。EMアルゴリズムを用いた最尤推定とLASSOによる変数選択を組み合わせることで、関連する予測変数を効果的に同定し、特に真の効果がスパースな高次元設定下で予測精度を向上させる。

ABSTRACT

In this work, we consider a manufactory process which can be described by a multiple-instance logistic regression model. In order to compute the maximum likelihood estimation of the unknown coefficient, an expectation-maximization algorithm is proposed, and the proposed modeling approach can be extended to identify the important covariates by adding the coefficient penalty term into the likelihood function. In addition to essential technical details, we demonstrate the usefulness of the proposed method by simulations and real examples.

研究の動機と目的

• インスタンスレベルのラベルが観測されないが、袋レベル（被験者レベル）のラベルのみが得られる製造プロセスにおける欠陊予測を解決すること。
• 欠陊インスタンスラベルが欠損している複数インスタンス学習フレームワーク下で、ロジスティック回帰係数を統計的に妥当な方法で推定する手法を開発すること。
• 予測変数の数が多く、真に影響を及ぼすのは少数である状況下で、欠陊率に影響を及げる重要な共変量を同定すること。
• 複数インスタンスロジスティック回帰にLASSO正則化を統合し、同時に係数推定と変数選択を実行すること。
• 特に高次元設定下で、既存のMI手法と比較して予測精度と変数選択の性能を向上させること。

提案手法

• 袋内の少なくとも1つの成分が欠陊である確率に依存して袋レベルの結果が決まる複数インスタンスロジスティック回帰モデルを定式化する。
• 未観測のインスタンスラベルを欠損データとして扱い、期待値最大化（EM）アルゴリズムを用いて最尤推定を実行する。
• 対数尤度関数にLASSO正則化を導入し、同時に係数推定と変数選択を実行する。
• 最適な正則化パラメータλの選択に、ベイジアン情報基準（BIC）と10分割交差検証を用いる。
• 尤度関数を L(β₀, β) = ∏ᵢ πᵢᶻⁱ(1−πᵢ)¹⁻ᶻⁱ として導出する。ここで πᵢ = 1 − ∏ⱼ(1−pᵢⱼ) かつ pᵢⱼ = 1/(1+exp(−(β₀ + xᵢⱼᵀβ))) である。
• 繰り返し重み付けとEMステップを適用し、罰則付き尤度を最大化することで、局所最適解への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 インスタンスレベルのラベルが欠損している状況下で、LASSO正則化を施した複数インスタンスロジスティック回帰は、標準的なMI手法を上回る欠陊状態の予測性能を示すか？
• RQ2 本稿で提唱するEM-LASSOアプローチは、高次元設定下で多数の予測変数の中から真に影響を及べる共変量を効果的に同定できるか？
• RQ3 本研究のMI回帰文脈において、BICによるチューニングパrameter選択は10分割交差検証に比べ、より安定的かつ正確な結果をもたらすか？
• RQ4 袋サイズの増加に伴い、特に1人の被験者に含まれる成分数が多い場合、モデルの性能はどのように変化するか？
• RQ5 既存のMIロジスティック回帰手法と比較して、本手法はバイアスをどの程度低減し、推定精度をどの程度向上させるか？

主な発見

• シミュレーションスケーム(D)では、BICによる選択を施したMILR-LASSOが61%の正解率と62%のAUCを達成し、MILR-s(3)とMILR-s(0)がそれぞれ58%の正解率と57%のAUCを示すのと比べ、顕著に優れた性能を示した。
• シミュレーションスケーム(E)では、MILR-LASSOが70%の正解率と75%のAUCを達成し、ベースライン手法を上回った。BICと10分割CVの両方で一貫した結果が得られた。
• 袋サイズが大きい（平均約65）となるシミュレーションスケーム(F)では、MILR-LASSOが82%の正解率と53%のAUCを維持したが、ベースライン手法は著しく劣悪な性能（18%の正解率）を示した。これは、高次元の袋構造に対してもロバストであることを示している。
• MUSK1データセットでは、MILR-LASSOが79%の予測正解率と83%のAUCを達成し、MILR-s(3)やMILR-s(0)を上回る予測性能を示したが、フィッティング性能では優位ではなかった。
• MUSK2データセットでは、MILR-LASSOが69%の予測正解率と76%のAUCを達成し、袋サイズが大きく複雑な構造を持つ状況下でも強力な性能を示した。
• 本手法は非ゼロの係数推定値を通じて重要な特徴量を効果的に同定でき、欠陊率を低減するための特徴選択と実務的インサイトの提供に有効であることが示された。