[論文レビュー] A constrained risk inequality for general losses

John C. Duchi, Feng Ruan|arXiv (Cornell University)|Apr 22, 2018

Statistical Methods and Inference参考文献 11被引用数 3

ひとこと要約

この論文は、任意の非減少損失関数に対して一般化された制約付きリスク不等式を提示し、ブルンとローの結果を二乗誤差損失を超えて拡張する。コーシー・シュワルツ不等式と二点検定フレームワークを活用することで、ある分布における推定リスクの上界が与えられたとき、別の分布におけるリスクの下界を確立し、絶対誤差や逸脱確率を含む多様な損失タイプにおいて、有限標本下での自己適応的・スーパー効率的推定量の下界を導出可能にする。

ABSTRACT

We provide a general constrained risk inequality that applies to arbitrary non-decreasing losses, extending a result of Brown and Low [Ann. Stat. 1996]. Given two distributions $P_0$ and $P_1$, we find a lower bound for the risk of estimating a parameter $θ(P_1)$ under $P_1$ given an upper bound on the risk of estimating the parameter $θ(P_0)$ under $P_0$. The inequality is a useful pedagogical tool, as its proof relies only on the Cauchy-Schwartz inequality, it applies to general losses, and it transparently gives risk lower bounds on super-efficient and adaptive estimators.

研究の動機と目的

• 既存の研究で用いられた二乗誤差損失を超えて、任意の非減少損失関数における推定リスクの一般化された下界を確立すること。
• コーシー・シュワルツ不等式にのみ依存する明快で教育的価値の高い証明を提供し、広範な統計的推定問題に適用可能であるようにすること。
• 推定量が一つの分布でスーパー効率的である場合と、別の分布で誤差が拡大する場合のリスクのトレードオフを定量化し、一様なスーパー効率性の不可能性を示すこと。
• 制約付きリスク不等式の適用範囲を、一般損失関数を伴う非パラメトリック推定問題および関数推定に拡張すること。
• 自己適応的推定における有限標本下での下界を導出する統一的枠組みを提供し、局所漸近最小最大理論への橋渡しをすること。

提案手法

• 非減少かつ凸である関数 $ \ell $ を用いて、一般損失関数 $ \ell(\|\widehat{\theta} - \theta(P)\|_2) $ を用いて推定リスクを形式化する。
• 二つの分布 $ P_0 $ と $ P_1 $ 間の類似度を測るため、$ \chi^2 $-類縁度 $ \rho(P_1 \| P_0) = \mathbb{E}_0[(dP_1/dP_0)^2] $ を導入する。
• 変換された損失項に対してコーシー・シュワルツ不等式を適用することで、$ R(\widehat{\theta}, P_0) $ の上界 $ \delta $ が与えられたとき、$ R(\widehat{\theta}, P_1) $ の下界を導出する。
• パラメータ $ P_0 $ と $ P_1 $ の間の距離を定量化するため、分離度 $ \Delta = 2\ell(\frac{1}{2}\|\theta_0 - \theta_1\|_2) $ を定義する。
• 尤度比による測度変換を適用し、$ P_1 $ における期待値を $ P_0 $ における期待値に結びつけることで、最終的なリスク不等式の導出を可能にする。
• 主要化とホルダーの不等式を用いて、非凸損失関数および異なる次元のパrameter空間へ一般化し、補題1および補題2を導出する。

実験結果

リサーチクエスチョン

• RQ1 二乗誤差損失を超えて、一般非減少損失関数に対して制約付きリスク不等式を確立できるか？
• RQ2 任意の損失関数のもとで、$ P_0 $ におけるリスクが束縛されているとき、$ \theta(P_1) $ の推定に達成可能な最小リスクは何か？
• RQ3 スーパー効率的推定量が $ P_0 $ で優れた性能を示す場合、近接分布 $ P_1 $ におけるその性能はどのように制約を受けるか？
• RQ4 この不等式は、一般損失関数を伴う非パラメトリック推定問題へどの程度適用可能か？
• RQ5 この不等式は、関数推定における自己適応的および効率的推定量の有限標本下での意味は何か？

主な発見

• 論文は不等式 $ R(\widehat{\theta}, P_1) \geq \left[ \Delta^{1/2} - (\rho(P_1 \| P_0) \cdot \delta)^{1/2} \right]_+^2 $ を確立し、$ \Delta = 2\ell(\frac{1}{2}\|\theta_0 - \theta_1\|_2) $ である。$ P_0 $ におけるリスクの上界 $ \delta $ が与えられたとき、$ P_1 $ におけるリスクの下界を提供する。
• 証明はコーシー・シュワルツ不等式にのみ依存しており、明快で、さまざまな損失関数に広く適用可能である。
• 非凸損失関数の場合、補題1により、$ \Delta = \ell(\frac{1}{2}\|\theta_0 - \theta_1\|_2) $ とすることで、同じ下界が成り立つことが示され、凸損失関数に限らない結果が得られる。
• パrameterが $ k \leq 2 $ 次元の場合、下界は $ R(\widehat{\theta}, P_1) \geq \left[ \Delta^{1/2} - (\rho(P_1 \| P_0) \cdot \delta)^{1/2} \right]_+^2 $ に簡略化され、$ \Delta = \|\theta_0 - \theta_1\|_2 $ となる。
• $ k > 2 $ の場合、ホルダーの不等式を用いて $ k=2 $ の場合に還元することで、下界は $ R(\widehat{\theta}, P_1) \geq \left[ \Delta - (\rho(P_1 \| P_0) \cdot \delta^2)^{1/2} \right]_+^k $ となる。
• この手法は正規分布の平均推定および非パラメトリック関数推定に適用され、自己適応的推定量の有限標本下での下界を導出する上で有効であることが示された。