[論文レビュー] High Dimensional Data Enrichment: Interpretable, Fast, and Data-Efficient.

T Amir Asiaee, Samet Oymak+2 more|arXiv (Cornell University)|Jun 11, 2018

Statistical Methods and Inference参考文献 18被引用数 3

ひとこと要約

本稿では、スパarsityなどの構造を強制する凸正則化を用いて、共有およびグループ固有のパラメータを備えた高次元構造的データ拡張モデルに対する高速で解釈可能かつデータ効率の良い推定器を提案する。反復的アルゴリズムの収束性、一貫性、非漸近的誤差バインディングを確立し、がん化学療法感受性予測において優れた予測性能と解釈可能性を示した。

ABSTRACT

High dimensional structured data enriched model describes groups of observations by shared and per-group individual parameters, each with its own structure such as sparsity or group sparsity. In this paper, we consider the general form of data enrichment where data comes in a fixed but arbitrary number of groups G. Any convex function, e.g., norms, can characterize the structure of both shared and individual parameters. We propose an estimator for high dimensional data enriched model and provide conditions under which it consistently estimates both shared and individual parameters. We also delineate sample complexity of the estimator and present high probability non-asymptotic bound on estimation error of all parameters. Interestingly the sample complexity of our estimator translates to conditions on both per-group sample sizes and the total number of samples. We propose an iterative estimation algorithm with linear convergence rate and supplement our theoretical analysis with synthetic and real experimental results. Particularly, we show the predictive power of data-enriched model along with its interpretable results in anticancer drug sensitivity analysis.

研究の動機と目的

• 高次元構造的データを扱う際、スパarsityなどの複雑な構造的制約を伴う共有およびグループ固有のパラメータを同時にモデル化する課題に対処する。
• 高次元設定下で共有および個別パラメータの両方を一貫して推定できる推定器を開発する。
• 各グループのサンプルサイズと総サンプルサイズの両面から推定器の標本複雑度を特定する。
• 効率的な最適化を可能にする、理論的線形収束性を保証する反復的アルゴリズムを設計する。
• 特にがん化学療法感受性解析において、実世界の生物学的データを用いてモデルの予測力と解釈可能性を実証する。

提案手法

• 共有および個別パラメータの両方を正則化するために一般の凸関数を用いることで、スパarsityやグループスパarsityなどの構造を実現するデータ拡張モデルを定式化する。
• 構造的制約下で共有およびグループ固有パラメータを同時に推定できる凸最適化に基づく推定器を提案する。
• 弱い正則性条件のもとで、すべてのパラメータの推定誤差に対して非漸近的かつ高確率のバインディングを確立する。
• 各グループのサンプルサイズと総サンプル数の両方に依存する標本複雑度の条件を導出する。
• 大規模データ上で効率的に計算可能な、線形収束レートを有する反復的最適化アルゴリズムを設計する。
• 合成データおよび実世界のがん化学療法感受性データを用いて、手法の実装と評価を行い、性能と解釈可能性を検証する。

実験結果

リサーチクエスチョン

• RQ1 高次元データ拡張モデルにおける共有および個別パラメータが、どのような条件下で一貫して推定可能となるか。
• RQ2 推定器の標本複雑度は、各グループのサンプルサイズと総サンプル数にどのように依存するか。
• RQ3 凸正則化の下で、提案された推定器の非漸近的推定誤差バインディングはどのようなものか。
• RQ4 提案された反復的アルゴリズムは、最適化問題に対して線形収束を達成できるか。
• RQ5 実世界の生物学的データにおいて、データ拡張モデルは予測精度と解釈可能性の両面でどのように性能を発揮するか。

主な発見

• 提案された推定器は、弱い正則性条件のもとで、共有および個別パラメータの両方を一貫して推定可能である。
• 非漸近的かつ高確率の推定誤差バインディングが導出され、有限標本下での性能に対する理論的保証が得られた。
• 標本複雑度は、各グループのサンプルサイズと総サンプル数の両方に依存し、実験設計における実用的指針を提供する。
• 反復的アルゴリズムは線形収束を示し、最適解への高速収束を保証する。
• がん化学療法感受性解析において、モデルは優れた予測性能と解釈可能な結果を示した。
• 凸正則化の使用により、スパarsityなどの構造的推定が可能になりながら、理論的・計算的取り扱いやすさを維持した。