[論文レビュー] Invariant quantile regression for heterogeneous environments

Bo Fu, Dandan Jiang|arXiv (Cornell University)|Mar 20, 2026

Advanced Causal Inference Techniques被引用数 0

ひとこと要約

本論文は Kernel-Smoothed Focused Invariant Quantile Regression (KSFIQR) を提案する。これは多環境不変量子分位回帰の枠組みで、異種環境間で安定な因果予測子を同定し、滑らかな不変正則化子を介して内生性を緩和する。非漸近的保証と実用的なアルゴリズムを提供する。

ABSTRACT

In this paper, we propose an invariant quantile regression (IQR) framework specifically designed for multi-environment datasets, which captures the invariance across different environments. This model is closely related to transfer learning, causal inference, and fair machine learning, and is motivated by scenarios in which the conditional probability of the response given covariates varies, while certain key features remain invariant. This perspective differs notably from previous works that restrict attention to the conditional mean, which is often insufficient in heterogeneous environments and the resulting estimators can become sensitive to ``bad" environments or changes in noise distributional shape. In contrast, quantile-based invariance naturally accommodates heterogeneity, and aligns more closely with structural causal models, in which variables invariant across environments at one or multiple quantile levels naturally indicate potential and stable causal predictors. Moreover, the set of endogenous variables under the IQR framework can be larger than that under the conditional mean framework typically, which in turn promotes more effective exclusion of spurious (no-causal) predictors provided that endogenous variables are not incorporated. To achieve this, we introduce a Kernel-Smoothed Focused Invariance Quantile Regression (KSFIQR) estimator, which leverages the underlying invariance structure and heterogeneity among environments, ensuring stable estimation across multiple environments. We establish the causal discovery properties of our method, demonstrate its ability to overcome the ``curse of endogeneity", and derive an $\ell_2$ error bound for our estimator in the low-dimensional regime, all in a non-asymptotic framework. From an algorithmic perspective, we implement the L-BFGS-B method and the Gumbel trick, with our numerical studies validating the proposed approach.

研究の動機と目的

• 多様な環境においてターゲットに影響を与える不変共変量の学習を動機づける。
• 条件平均を超えた選択した分位レベルで不変性を捉える分位ベースのフレームワークを開発する。
• 内生性を扱いつつ不変予測子を同定する核平滑化フォーカス不変性正規化子を提案する。
• 低次元で変量選択と非漸近的誤差境界の理論的保証を提供する。
• L-BFGS-B と核平滑化を用いた Gumbel トリックを組み合わせた実用的アルゴリズム実装を提供する。

提案手法

• tau-CP不変集合を定義し、複数環境の不変量回帰(IQR)モデルを定式化する。
• 環境間で条件付き分位挙動を同一に促す不変正則化項 J(beta) を持つ母集団損失を導入する。
• 非平滑な分位損失を核平滑化版に置換し、勾配とヘッセ行列の表現を有する微分可能な目的関数を得る。
• 実データの滑らか化した目的関数を、beta に対するスパース性指示子を用いて最小化する KSFIQR 推定量を構築する。
• 真のパラメータ近傍で滑らかな目的関数が局所的に強凸となることを示し、ほぼ最小同定条件の下で活性集合を回復し内生変数を回避する。
• 最適化のアルゴリズム実装を L-BFGS-B と Gumbel トリックを用いて概説する。

実験結果

リサーチクエスチョン

• RQ1 tau-CP 不変モデルを環境を跨いで適用した場合に、不変集合 S* と不変パラメータ beta* を特定・推定できるか？
• RQ2 核平滑化されたフォーカス不変正規化子は、非漸近的・低次元設定で因果予測子を信頼性高く回復し、内生性変数を選別できるか？
• RQ3 分位不変性に焦点を当てることは、平均ベースのアプローチと比べて頑健性と一般化性能をどう改善するか？
• RQ4 KSFIQR の推定誤差・変数選択に関する理論的保証は、緩い同定条件下でどうなるか？
• RQ5 提案フレームワークを現実的に効率良く実装するにはどうすればよいか？

主な発見

• 環境を跨いだ不変条件付き分位数を捉える IQR フレームワークを導入。
• 微分可能な最適化と実用計算を可能にする核平滑化された経験的目的関数を提案。
• KSFIQR 推定量が低次元領域で非漸近的な L2 誤差境界を達成することを実証。
• 本法は不変因果予測子の同定を改善し、緩い条件の下で内生変数を排除できる。
• L-BFGS-B と Gumbel トリックを用いたアルゴリズム的指針を数値解析で検証。