[論文レビュー] General framework for projection structures

Eduard Belitser, Nurzhan Nurushev|arXiv (Cornell University)|Mar 31, 2019

Advanced Optimization Algorithms Research参考文献 49被引用数 6

ひとこと要約

本稿は、高次元統計における射影構造の一般で分布に依存しないフレームワークを構築し、データに依存する測度（DDM）と過剰バイアス制限（EBR）を導入することで、オракルレート最適な信頼球を用いた局所的不確実性評価（UQ）を可能にする。このフレームワークは、スパース、滑らかさ、クラスタリング構造を含む広範なモデルクラスを統一し、スパース、滑らかさ、クラスタリング、形状制約といった多様な構造において、ミニマックス適応的結果を導出する。

ABSTRACT

In the first part, we develop a general framework for projection structures and study several inference problems within this framework. We propose procedures based on data dependent measures (DDM) and make connections with empirical Bayes and penalization methods. The main inference problem is the uncertainty quantification (UQ), but on the way we solve the estimation, DDM-contraction problems, and a weak version of the structure recovery problem. The approach is local in that the quality of the inference procedures is measured by the local quantity, the oracle rate, which is the best trade-off between the approximation error by a projection structure and the complexity of that approximating projection structure. Like in statistical learning settings, we develop distribution-free theory as no particular model is imposed, we only assume certain mild condition on the stochastic part of the projection predictor. We introduce the excessive bias restriction (EBR) under which we establish the local confidence optimality of the constructed confidence ball. The proposed general framework unifies a very broad class of high-dimensional models and structures, interesting and important on their own right. In the second part, we apply the developed theory and demonstrate how the general results deliver a whole avenue of local and global minimax results (many new ones, some known results from the literature are improved) for particular models and structures as consequences, including white noise model and density estimation with smoothness structure, linear regression and dictionary learning with sparsity structures, biclustering and stochastic block models with clustering structure, covariance matrix estimation with banding and sparsity structures, and many others. Various adaptive minimax results over various scales follow also from our local results.

研究の動機と目的

• 射影構造を用いた高次元モデルにおける推論のための統一的かつ分布に依存しない理論的枠組みを確立すること。
• データに依存する測度（DDM）と過剰バイアス制限（EBR）を用いて、局所的最適性保証を伴う不確実性評価（UQ）を扱うこと。
• スパarsity、滑らかさ、クラスタリング、形状制約を含む多様なモデルと構造において、ミニマックス適応的結果を導出すること。
• 信頼球が一様被覆を達成する条件を同定することで、UQにおける錯覚現象を解消すること。
• DDMに基づく手順を通じて、このフレームワークを経験ベイズ法およびペナルティ法と結びつけること。

提案手法

• 推定バイアスと分散の適応的バランスを実現するため、データに依存する測度（DDM）を用いた射影構造の一般フレームワークを提案する。
• オラクルレートを、近似誤差と構造的複雑さの最小トレードオフとして定義する、局所的性能の測度として導入する。
• 局所的信頼最適性を保証するため、過剰バイアス制限（EBR）を適用し、信頼球の一様被覆を可能にする。
• DDM収縮結果を用いて、滑らかさやスパarsityのスケールに応じた推定の一貫性と適応性を確立する。
• コロナリー8.2を用いて、局所的オラクルレート結果からグローバルミニマックス結果を導出し、ソボレフ楕円体や$β$-ホルダークラスなどのスケールにおける適応性を可能にする。
• 構造と複雑さの測度を指定することにより、特定のモデル（例：辞書学習、共分散推定、バイクラスタリング）にこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 高次元射影構造における不確実性評価のための一般的かつ分布に依存しないフレームワークを開発することは可能か？
• RQ2 提案された信頼球がどのような条件下で局所的最適性と一様被覆を達成するか？
• RQ3 このフレームワークは、スパarsity、滑らかさ、クラスタリング、形状制約といった多様なモデルをどのように統一するか？
• RQ4 過剰バイアス制限（EBR）は、UQにおける錯覚現象をどのように排除するか？
• RQ5 局所的オラクルレート結果を、ソボレフ楕円体、ベゾフスケール、弱$\ell_q$-ボールを含む複数のスケールにわたるグローバルミニマックス適応的結果へ拡張できるか？

主な発見

• EBR下での提案された信頼球は、極めて構造的なパrameterの薄い集合を除き、パrameter空間全体にわたって一様被覆を達成する局所的信頼最適性を実現する。
• スパース辞書学習モデルにおいて、ミニマックスレートは$ r^2(\theta) \asymp \sigma^2 \min\{np + m\bar{s}\log(ep/\bar{s}), nm\} $と表され、既知の結果と一致し、適応性が向上する。
• 次元制約が緩い条件下（$ m \lesssim p^2 n $）で、辞書学習モデルにおいて錯覚現象が回避され、信頼球の一様被覆が保証される。
• コロナリー8.2を用いることで、フレームワークはソボレフ楕円体、ベゾフスケール、弱$\ell_q$-ボールを含むスケールにおいてグローバルミニマックス適応的結果を導出する。
• バイクラスタリングおよび確率的ブロックモデルにおいて、フレームワークは既知のミニマックスレートを回復し、同じオラクルレートフレームワーク下で新たな適応的結果を提供する。
• オラクルレートにおける精密化されたマジョライズド$ \bar{\rho}(I) $の使用により、$ m \lesssim np $を要件としなくても良好な境界が得られ、一般性が向上する。