[論文レビュー] Optimal solutions to the isotonic regression problem

Alexander I. Jordan, Anja Mühlemann+1 more|arXiv (Cornell University)|Apr 9, 2019

Advanced Statistical Methods and Models参考文献 24被引用数 6

ひとこと要約

本稿は、識別関数を用いて定義される期待値、分位数、期待利得などの汎関数の広いクラスに対して、最適解が存在することを示し、それらの解が一様にすべての一致損失関数に対して最適であることを示している。主な貢献は、部分順序の下での最適等単調回帰解の min-max / max-min 特徴付けであり、これはプール・アセプト・バイオレーターズ（PAV）アルゴリズムを一般の順序制約最適化へ拡張するものである。

ABSTRACT

In general, the solution to a regression problem is the minimizer of a given loss criterion, and depends on the specified loss function. The nonparametric isotonic regression problem is special, in that optimal solutions can be found by solely specifying a functional. These solutions will then be minimizers under all loss functions simultaneously as long as the loss functions have the requested functional as the Bayes act. For the functional, the only requirement is that it can be defined via an identification function, with examples including the expectation, quantile, and expectile functionals. Generalizing classical results, we characterize the optimal solutions to the isotonic regression problem for such functionals, and extend the results from the case of totally ordered explanatory variables to partial orders. For total orders, we show that any solution resulting from the pool-adjacent-violators algorithm is optimal. It is noteworthy, that simultaneous optimality is unattainable in the unimodal regression problem, despite its close connection.

研究の動機と目的

• 古典的な等単調回帰フレームワークを期待値機能にとどまらず、識別関数によって定義される一般の汎関数へと拡張すること。
• 等単調回帰解が、特定の損失関数に依存せず、すべての一貫損失関数に対して同時に最適となるための条件を確立すること。
• 説明変数の部分順序へとプール・アセプト・バイオレーターズ（PAV）アルゴリズムおよびその最適性の性質を一般化すること。
• 等単調回帰とは構造的に類似しているが、単峰性回帰では同時に最適性が成立しないことを示し、その重要な差異を強調すること。
• 全順序の下での集合値汎関数に対する最適解の完全な特徴付けを提供すること。

提案手法

• 期待値、分位数、期待利得などの汎関数を識別関数を用いて定義し、多様な回帰ターゲットを統一的に取り扱えるようにする。
• 真の汎関数値が期待損失を最小化する一貫（Bregman型）損失関数の概念を適用し、等単調解がすべてのこのような損失関数に対して最適であることを示す。
• 最適等単調解の min-max および max-min 形式を導入する：$\hat{g}(z_\ell) = \min_{j \geq \ell} \max_{i \leq j} \mathbb{E}_{i:j} Y = \max_{i \leq \ell} \min_{j \geq i} \mathbb{E}_{i:j} Y $ であり、これは古典的な PAV 解を一般化する。
• 説明変数の部分順序へと枠組みを拡張するため、被覆集合の分割構造 $\mathcal{Q}_z$ を定義し、順序理想およびフィルターを用いて最適解を特徴付ける。
• 予測性能の比較にマーフィー図と期待素因数スコアを用い、単峰性回帰における同時に最適性の欠如を実証する。
• 単峰性制約下での実行可能解集合が和集合および共通部分に関して閉じていないことを証明し、これにより同時に最適性の条件が破られる。

実験結果

リサーチクエスチョン

• RQ1 期待値に限らず、識別関数によって定義される一般の汎関数について、等単調回帰解がすべての一貫損失関数に対して同時に最適にできるか？
• RQ2 平均ではなく識別関数によって定義されるターゲット汎関数の場合、最適等単調解の一般的な形は何か？
• RQ3 プール・アセプト・バイオレーターズ（PAV）アルゴリズムおよびその最適性は、説明変数の部分順序へとどのように拡張できるか？
• RQ4 等単調回帰と構造的に類似しているにもかかわらず、なぜ単峰性回帰では同時に最適性が成立しないのか？
• RQ5 一貫損失関数のすべてに対して同時に最適性を達成するための解空間に必要なおよび十分な条件は何か？

主な発見

• 識別関数によって定義される汎関数 $T$ に対して、$T$ が区間型の汎関数である限り、最適等単調回帰解は、すべての一貫損失関数の最小化器として同時に最適である。
• 全順序の場合、PAV アルゴリズムによって生成される任意の解が最適であり、min-max / max-min 公式は一意な最適解を特徴付ける。
• 部分順序へ一般化する際には、説明変数集合の分割構造 $\mathcal{Q}_z$ を定義し、最適解は順序理想およびフィルターによって決定される。
• 単峰性回帰では、一意の解がすべての一貫損失関数に対して優位ではない。4つのデータポイントを持つ反例とマーフィー図による比較によってこれを示した。
• 単峰性回帰における同時に最適性の失敗は、解空間が和集合および共通部分に関して閉じていないことに起因し、これにより同時に最適性に必要な条件が満たされない。
• 本稿では、汎関数が集合値（例：分位数）の場合の最適解の完全な特徴付けを提供し、解が境界 $T^-$ と $T^+$ の凸結合に対応することを示した。