[論文レビュー] Affine Invariant Divergences associated with Composite Scores and its Applications

Takafumi Kanamori, Hironori Fujisawa|arXiv (Cornell University)|May 11, 2013

Advanced Statistical Methods and Models参考文献 21被引用数 5

ひとこと要約

本稿では、確率的予測におけるアフィン不変推定量を誘導する新しい種類の複合スコアとしてホルダー スコアを導入する。バグマン散発理論を活用し、アフィン不変性によってホルダー スコアを特徴づけることで、測定単位の変更に対して頑健な推定量が得られることを理論的に保証し、同値性とレッドセンドイングな影響関数の性質を示す。

ABSTRACT

In statistical analysis, measuring a score of predictive performance is an important task. In many scientific fields, appropriate scores were tailored to tackle the problems at hand. A proper score is a popular tool to obtain statistically consistent forecasts. Furthermore, a mathematical characterization of the proper score was studied. As a result, it was revealed that the proper score corresponds to a Bregman divergence, which is an extension of the squared distance over the set of probability distributions. In the present paper, we introduce composite scores as an extension of the typical scores in order to obtain a wider class of probabilistic forecasting. Then, we propose a class of composite scores, named Holder scores, that induce equivariant estimators. The equivariant estimators have a favorable property, implying that the estimator is transformed in a consistent way, when the data is transformed. In particular, we deal with the affine transformation of the data. By using the equivariant estimators under the affine transformation, one can obtain estimators that do no essentially depend on the choice of the system of units in the measurement. Conversely, we prove that the Holder score is characterized by the invariance property under the affine transformations. Furthermore, we investigate statistical properties of the estimators using Holder scores for the statistical problems including estimation of regression functions and robust parameter estimation, and illustrate the usefulness of the newly introduced scores for statistical forecasting.

研究の動機と目的

• 複合スコアを用いて、確率的予測のスコープを拡張するための適正スコアルールの拡張を目的とする。
• データのアフィン変換に対して不変な推定量を誘導するスコアのクラス、すなわちホルダー スコアの開発を目的とする。
• アフィン不変性を用いてホルダー スコアを特徴づけ、推定量が測定単位に依存しないことを保証することを目的とする。
• ホルダー スコアに基づく推定量の統計的性質、特に頑健性と漸近的分散の調査を目的とする。
• 不変性の性質とスコア関数の関数的形との間の理論的関係を確立することを目的とする。

提案手法

• 確率的予測の範囲を広げるために、適正スコアの拡張として複合スコアを提案する。
• パラメータ $ \gamma > 0 $, $ s > 0 $, および特定の不等式を満たす関数 $ \phi $ を用いて、$ \phi\left(\frac{\langle pq^{\gamma}\rangle}{\langle q^{1+\gamma}\rangle}\right)\langle q^{1+\gamma}\rangle^{s} $ の関数的形で定義されるホルダー スコアを導入する。
• 誘導される散発のアフィン不変性が、ホルダー スコアを同値性を除いて一意に特徴づけることを確立する。
• 陰関数定理を用いて、ホルダー スコアによる最適スコア推定量の影響関数を導出する。
• バグマン散発理論を応用し、適正スコアと複合スコアを結びつけることで、幾何学的および統計的解析を可能にする。
• 条件 $ \phi''(1) = -\gamma(1+\gamma) $ の下で、レッドセンドイングな影響関数の挙動を示し、外れ値に対して頑健であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 どのような複合スコアのクラスが、データのアフィン変換に対して不変な推定量を誘導するか？
• RQ2 スコア関数の関数的形は、データのアフィン変換に対する不変性によってどのように特徴づけられるか？
• RQ3 ホルダー スコアに基づく推定量が示す統計的性質（例：頑健性、漸近的分散）は何か？
• RQ4 外れ値の存在下で、最適スコア推定量の影響関数はホルダー スコアの下でどのように振る舞うか？
• RQ5 ホルダー スコアは、望ましい統計的不変性の性質を保ちつつ、既存の適正スコアルールをどの程度一般化するか？

主な発見

• 誘導される散発のアフィン不変性によって、ホルダー スコアが一意に特徴づけられ、不変性とスコア構造の間の一対一対応が確立される。
• ホルダー スコアに基づく最適スコア推定量は、アフィン変換に対して同値性を示し、測定単位のスケーリングや位置シフトに関係なく一貫した推定を保証する。
• 条件 $ \phi''(1) = -\gamma(1+\gamma) $ の下で、推定量の影響関数はレッドセンドイングとなる。これは極端な外れ値に対して頑健であることを示唆する。
• 同じ $ \phi''(1) $ 値を持つホルダー スコアを用いた推定量は、同じ漸近的分散を持つため、同一の曲率条件下で効率性が同等であることを示す。
• 複合スコアがアフィン不変な散発を誘導するための必要十分条件として、$ z \geq 0 $ に対して $ \phi(z) \geq \phi(1)z^{(1+\gamma)s} $ という関数的不等式が成立する。
• 変換 $ \xi(H) = |H/\phi(1)|^{1/s} \text{sign}(H) $ により、ホルダー スコアがアフィン不変性下での複合スコアの標準形と確率的に同等になることが保証される。