[論文レビュー] Performance Assessment of High-dimensional Variable Identification

Yanjia Yu, Yi Yang+1 more|arXiv (Cornell University)|Apr 28, 2017

Gene expression and cancer classification参考文献 13被引用数 3

ひとこと要約

本稿では、真のモデルが未知である高次元変数選択の文脈において、F-およびG-尺度を推定するデータ駆動型手法、PAVI（変数同一定義のパフォーマンス評価）を提案する。候補モデルを適応的重み付けで組み合わせることで、F-およびG-尺度の一様一貫推定が可能となり、回帰および分類設定において真のモデルが不明な状況でも、信頼性の高いデータベース評価が可能になる。有限標本性能が強く、遺伝子発現データを用いた実世界の検証も実施されている。

ABSTRACT

Since model selection is ubiquitous in data analysis, reproducibility of statistical results demands a serious evaluation of reliability of the employed model selection method, no matter what label it may have in terms of good properties. Instability measures have been proposed for evaluating model selection uncertainty. However, low instability does not necessarily indicate that the selected model is trustworthy, since low instability can also arise when a certain method tends to select an overly parsimonious model. F- and G-measures have become increasingly popular for assessing variable selection performance in theoretical studies and simulation results. However, they are not computable in practice. In this work, we propose an estimation method for F- and G-measures and prove their desirable properties of uniform consistency. This gives the data analyst a valuable tool to compare different variable selection methods based on the data at hand. Extensive simulations are conducted to show the very good finite sample performance of our approach. We further demonstrate the application of our methods using several micro-array gene expression data sets, with intriguing findings.

研究の動機と目的

• 真のモデルが不明な高次元設定における、計算可能でデータ駆動型の変数選択パフォーマンス指標の欠如に対処すること。
• 過度に単純化されたモデルを選択する場合でさえも低値となることがある不安定性指標の限界を克服すること。
• F-およびG-尺度（精度と再現率の調和平均および幾何平均）の実用的で一貫性のある推定を提供し、変数選択の全体的精度を評価すること。
• 実データを用いた直接的な比較を通じて、異なる変数選択手法の推定されたF-およびG-尺度に基づく、手法間の比較を可能にすること。
• 多数のシミュレーションとマイクロアレイ遺伝子発現データセットを用いた実世界の分析を通じて、手法の信頼性を検証すること。

提案手法

• 正則化法（例：Lasso、SCAD、MCP、適応的Lasso）から得られる候補モデルを用いたモデル結合アプローチを提案し、F-およびG-尺度を推定する。
• 2つの重み付けスキームを採用：Yang（2001）の回帰による混合による適応的重み付けと、情報量基準（例：AIC、BIC）に基づく重み付け。
• 重み付けスキームの弱い一貫性の下で、F-およびG-尺度の一様一貫推定量を導出。これにより、モデル集合全体にわたる信頼性の高い推定が保証される。
• 回帰および分類問題の両方への適用を想定し、実データ分析におけるロジスティック回帰およびSVMの具体的な実装手順を提示する。
• 有限標本性能の評価および推定量の安定性の検証に、リサンプリングおよび交差検証を用いる。
• 実データ応用におけるモデル信頼性の妥当性を検証するため、F/G推定値、AIC/BIC、尤度関数（deviance）の複数の視点を統合する。

実験結果

リサーチクエスチョン

• RQ1 真のモデルが不明な高次元設定において、F-およびG-尺度を一貫して推定できるか？
• RQ2 提案手法であるPAVIは、従来の不安定性指標と比較して、変数選択結果の信頼性をどのように評価できるか？
• RQ3 推定されたF-およびG-尺度は、実データにおける変数選択手法の真のパフォーマンスをどの程度反映しているか？
• RQ4 PAVIフレームワークは、F-およびG-尺度がほぼゼロであるような信頼性の低い変数選択結果を検出・アラート出力できるか？
• RQ5 適応的混合と情報量基準の重み付けスキームの違いが、F-およびG-推定値の一貫性および正確性にどのように影響するか？

主な発見

• 提案されたPAVI手法は、弱い一貫性を満たす重み付けスキームの下で、F-およびG-尺度の一様一貫推定を実現し、実用的応用における理論的根拠を提供する。
• シミュレーションにおいて、F-およびG-尺度の推定値は、高次元かつ小標本サイズの設定下でも、変数選択手法の真のパフォーマンスを的確に反映している。
• 3つの実際のマイクロアレイデータセット（Colon、Leukemia、Prostate）において、F-およびG-尺度の推定値がほぼゼロのモデルは、常にAIC、BIC、尤度関数の値が高くなる傾向にあり、これはモデルの適合度が低く、信頼性のない選択を示している。
• ColonデータセットにおけるLassoおよびSCAD法では、F ≈ 0.0のようなほぼゼロのF-およびG-推定値が得られ、AIC（26.0）およびBIC（53.6）の高い値とも一致しており、モデルの信頼性が低いことが示された。
• PAVIアプローチは、モデル適合度（AIC/BIC）および分類性能（尤度関数）の複数の評価視点を通じて、低性能なモデルを効果的に特定・アラート出力でき、その診断的有用性を裏付けた。
• 本手法は実世界の応用において強く有用であり、真のモデルが入手不可な状況下でも、データアナリストが変数選択結果の信頼性および再現可能性を評価できるように支援する。