[論文レビュー] Constrained Classification and Policy Learning

Toru Kitagawa, Shosei Sakaguchi+1 more|arXiv (Cornell University)|Jun 24, 2021

Advanced Causal Inference Techniques参考文献 58被引用数 26

ひとこと要約

本論文は、制約された分類器集合の下で代理損失法が一貫性を保つのはいつかを分析し、ヒンジ損失が第二最適（制限された）状況で一貫性を保つ唯一の方法であることを示し、分類と方針学習のための単調性・制約適合のヒンジ損失手法を開発する。

ABSTRACT

Modern machine learning approaches to classification, including AdaBoost, support vector machines, and deep neural networks, utilize surrogate loss techniques to circumvent the computational complexity of minimizing empirical classification risk. These techniques are also useful for causal policy learning problems, since estimation of individualized treatment rules can be cast as a weighted (cost-sensitive) classification problem. Consistency of the surrogate loss approaches studied in Zhang (2004) and Bartlett et al. (2006) crucially relies on the assumption of correct specification, meaning that the specified set of classifiers is rich enough to contain a first-best classifier. This assumption is, however, less credible when the set of classifiers is constrained by interpretability or fairness, leaving the applicability of surrogate loss based algorithms unknown in such second-best scenarios. This paper studies consistency of surrogate loss procedures under a constrained set of classifiers without assuming correct specification. We show that in the setting where the constraint restricts the classifier's prediction set only, hinge losses (i.e., $\ell_1$-support vector machines) are the only surrogate losses that preserve consistency in second-best scenarios. If the constraint additionally restricts the functional form of the classifier, consistency of a surrogate loss approach is not guaranteed even with hinge loss. We therefore characterize conditions for the constrained set of classifiers that can guarantee consistency of hinge risk minimizing classifiers. Exploiting our theoretical results, we develop robust and computationally attractive hinge loss based procedures for a monotone classification problem.

研究の動機と目的

• 解釈可能性・公平性またはその他の外因的制約によって予測集合が制限される制約付き二値分類を動機づけ、正式に定式化する。
• 制約付き分類子ファミリにおける代理損失の最小化がリスク一貫性を保つ条件を特徴づける。
• ヒンジ損失が第二最適の制約設定で一貫性を保つ場合と保たない場合を特定する。
• 制約下での単調分類のための実用的で計算効率の高いヒンジ損失ベースの手法を開発する。
• 公正性または単調性の制約下で、制約付き分類の結果を因果方針学習と処方割り当てに結びつける。

提案手法

• X内の実行可能領域のクラスGに予測集合を制限することで、制約付き分類クラスを定義する。
• 分類キャリブレーション済みの損失φを用いた代理損失最小化を用い、R-およびR_φの仕様誤差を分析する。
• ヒンジ損失 φ_h(α)=c max{0,1−α} が第二最適の制約付き分類器に対する一貫性を保証する唯一の代理損失であることを示す。
• F_Gの分類保持還元を介して、追加の機能形状制限の下での一貫性に十分条件を特徴づける。
• 単調予測集合G_Mと対応する関数クラスF_Mに制限することで、凸最適化とセイブベースのバーンスタイン多項式近似を可能にする、単調分類手法を開発する。
• 治療割り当てを加重分類問題として定式化し、福祉を加重誤分類リスクに関連づけることで、これらの結果が方針学習へ拡張されることを示す。

実験結果

リサーチクエスチョン

• RQ1 制約付き分類子ファミリF_Gの下で、代理リスク最小化が真の分類リスクRをF_G上で最小化する分類器を生み出す条件は何か？
• RQ2 ヒンジ損失は第二最適（制約付き）分類の一貫性を保つ唯一の代理損失か？
• RQ3 G制約予測集合を超える追加の機能形状制限は、ヒンジリスク最小化の一貫性にどのような影響を与えるか？
• RQ4 一貫性を保つままにする計算効率の高い単調（他の制約ベースの）ヒンジ損失手法を設計できるか？
• RQ5 制約付き分類の結果は、単調性や公平性の制約下で因果方針学習と治療割り当てへどのように翻訳されるのか？

主な発見

• ヒンジ損失は、G制約予測集合の下で第二最適分類器に対する一貫性を保証する唯一の代理損失である。
• 制約が分類器の機能形を追加で制限する場合、ヒンジ損失でも一貫性が失われる可能性がある。
• 追加の機能形状制限の下で、分類を保持する還元を介してヒンジリスク最小化の一貫性を保証する十分条件を、簡単にチェックできる形で特徴づけられる。
• G_Mによる予測集合を用いた単調分類は一貫性を保持する制約還元につながり、凸性により有限次元の線形計画法が可能になる。
• バーンスタイン多項式を用いたセイブアプローチは、単調分類器の実用的で計算効率の高い推定を提供し、R(f̂_M) → inf_{f∈F_M} R(f) の収束を保証する。
• 制約付き代理リスクの枠組みは方針学習にも拡張されており、最適な治療規則は最適な（加重）分類器に対応し、単調制約は混雑最適化法よりも計算効率を改善する。