[論文レビュー] Global empirical risk minimizers with "shape constraints" are rate optimal in general dimensions

Qiyang Han|arXiv (Cornell University)|May 30, 2019

Statistical Methods and Inference参考文献 41被引用数 14

ひとこと要約

本稿では、エントロピー積分が発散する場合でさえも、形状制約（単調性や凹性など）を満たす高次元モデルにおいて、グローバルな経験的リスク最小化（ERM）がレート最適な収束を達成することを確立している。これは、長年の上界と下界のギャップを閉じるものであり、特に単調回帰、密度推定、分類の設定において、グローバル ERM がミニマックス最適であることを証明している。

ABSTRACT

Entropy integrals are widely used as a powerful tool to obtain upper bounds for the rates of convergence of global empirical risk minimizers (ERMs), in standard settings such as density estimation and regression. The upper bound for the convergence rates thus obtained typically matches the minimax lower bound when the entropy integral converges, but admits a strict gap compared with the lower bound when it diverges. [BM93] provided a striking example showing that such a gap is real with the entropy structure alone: for a variant of the natural Holder class with low regularity, the global ERM actually converges at the rate predicted by the entropy integral that substantially deviates from the lower bound. The counter-example has spawned a long-standing negative position on the use of global ERMs in the regime where the entropy integral diverges, as they are heuristically believed to converge at a sub-optimal rate in a variety of models. The present paper demonstrates that this gap can be closed if the models admit certain degree of `shape constraints' in addition to the entropy structure. In other words, the global ERMs in such `shape-constrained' models will indeed be rate-optimal, matching the lower bound even when the entropy integral diverges. The models with `shape constraints' we investigate include (i) edge estimation with additive and multiplicative errors, (ii) binary classification, (iii) multiple isotonic regression, (iv) $s$-concave density estimation, all in general dimensions when the entropy integral diverges. Here `shape constraints' are interpreted broadly in the sense that the complexity of the underlying models can be essentially captured by the size of the empirical process over certain class of measurable sets, for which matching upper and lower bounds are obtained to facilitate the derivation of sharp convergence rates for the associated global ERMs.

研究の動機と目的

• 高次元モデルにおけるグローバル ERM のエントロピー積分による上界とミニマックス下界の間の長年のギャップを解消すること。
• エントロピー積分が発散する場合にグローバル ERM が劣化するとされる直感的信念に挑戦すること。
• 単調性、凹性、または単調性といった形状制約が、このような状況下でもレート最適性を回復できることを示すこと。
• 単調回帰や s-凹密度推定などの多様なモデルの分析を、測定可能集合上の経験過程に基づく共通の枠組みで統一すること。
• 形状制約付きモデルにおける経験過程の上界と下界を一致させ、鋭い収束レートを達成すること。

提案手法

• 形状制約によって誘導される測定可能集合のクラスにおける経験過程の複雑さを分析し、エントロピー積分構造に依存するのをやめること。
• これらの構造化された集合上での経験過程の上限と下限を一致させ、鋭い収束レート分析を可能にすること。
• 形状制約が課す幾何学的および順序構造に適合したメトリックエントロピーとチェインニング技術を活用すること。
• 一般次元に適用可能であり、加法的および乗法的誤差モデルの両方を扱えること。
• 標準のエントロピーに基づく項とは分離して、形状制約の複雑さの寄与を特定する、新しいリスク分解を導入すること。
• 主な技術的イノベーションは、形状制約によって定義される集合のクラスのエントロピーを制限することにあり、これにより収束レートがミニマックス下界と一致する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー積分が発散する場合でも、グローバル経験的リスク最小化（ERM）が高次元モデルでレート最適性を達成できるか？
• RQ2 単調性や凹性といった形状制約が、エントロピーに基づく上界とミニマックス下界のギャップを埋めるか？
• RQ3 どのような一般的なモデルのクラス（例：単調回帰、s-凹密度推定）において、形状制約の導入がレート最適性を回復するか？
• RQ4 経験過程理論は、標準のエントロピー構造を超えて、形状制約付きモデルの複雑さをどのように捉えるべきか？
• RQ5 形状制約によって定義される測定可能集合上の経験過程に対して、一致する上界と下界を導出できるか、これにより鋭い収束レートが保証されるか？

主な発見

• エントロピー積分が発散する場合でさえ、形状制約付きのモデルにおいてグローバル ERM はミニマックス最適な収束レートを達成する。
• 本稿では、エントロピー積分が予測するレートが、このようなモデルでは下界ではないことが示され、形状制約のおかげで真のミニマックスレートと一致することが可能である。
• 一般次元における複数の単調回帰において、エントロピー積分が発散するにもかかわらず、グローバル ERM は最適な収束レートを達成する。
• 加法的・乗法的誤差付きの s-凹密度推定およびエッジ推定において、形状制約のもとでグローバル ERM はレート最適である。
• 形状制約によって定義される測定可能集合上の経験過程に対して、鋭い上界と下界を提供するフレームワークが構築され、正確なレート分析が可能になる。
• エントロピー積分が発散する状況におけるグローバル ERM の劣化の可能性に関する長年の未解決問題が解決され、形状制約が存在する限り、それらが本質的に劣化しているわけではないことが示された。