[논문 리뷰] Invariant quantile regression for heterogeneous environments

Bo Fu, Dandan Jiang|arXiv (Cornell University)|2026. 03. 20.

Advanced Causal Inference Techniques인용 수 0

한 줄 요약

이 논문은 Kernel-Smoothed Focused Invariant Quantile Regression (KSFIQR)을 도입하며, 이질적 환경에서 안정적인 인과 예측자를 식별하고 스무딩된 불변 정규화를 통해 내생성을 완화하는 다중 환경 불변 분위 quantile 프레임워크이다. 비점근 보장을 제공하고 실용적인 알고리즘적 접근법을 제시한다.

ABSTRACT

In this paper, we propose an invariant quantile regression (IQR) framework specifically designed for multi-environment datasets, which captures the invariance across different environments. This model is closely related to transfer learning, causal inference, and fair machine learning, and is motivated by scenarios in which the conditional probability of the response given covariates varies, while certain key features remain invariant. This perspective differs notably from previous works that restrict attention to the conditional mean, which is often insufficient in heterogeneous environments and the resulting estimators can become sensitive to ``bad" environments or changes in noise distributional shape. In contrast, quantile-based invariance naturally accommodates heterogeneity, and aligns more closely with structural causal models, in which variables invariant across environments at one or multiple quantile levels naturally indicate potential and stable causal predictors. Moreover, the set of endogenous variables under the IQR framework can be larger than that under the conditional mean framework typically, which in turn promotes more effective exclusion of spurious (no-causal) predictors provided that endogenous variables are not incorporated. To achieve this, we introduce a Kernel-Smoothed Focused Invariance Quantile Regression (KSFIQR) estimator, which leverages the underlying invariance structure and heterogeneity among environments, ensuring stable estimation across multiple environments. We establish the causal discovery properties of our method, demonstrate its ability to overcome the ``curse of endogeneity", and derive an $\ell_2$ error bound for our estimator in the low-dimensional regime, all in a non-asymptotic framework. From an algorithmic perspective, we implement the L-BFGS-B method and the Gumbel trick, with our numerical studies validating the proposed approach.

연구 동기 및 목표

• 다양한 환경에 걸쳐 타깃에 영향을 미치는 불변 공변량의 학습을 도출한다.
• 조건부 평균을 넘어 선택된 분위수 수준에서 불변성을 포착하기 위한 분위수 기반 프레임워크를 개발한다.
• kernel-smoothed focused invariance regularizer를 제안하여 불변 예측자를 식별하고 내생성을 다룬다.
• 저차원에서 변수 선택에 대한 이론적 보장과 비점근 오차 경계를 제공한다.
• kernel smoothing을 이용한 L-BFGS-B 및 Gumbel 트릭과 함께 실용적인 알고리즘 구현을 제시한다.

제안 방법

• tau-CP-invariant 집합을 정의하고 다중 환경에 대한 invariant quantile regression (IQR) 모델을 형식화한다.
• 환경 간 동일한 조건부 분위수 동작을 유도하기 위한 invariance penalty J(beta)를 갖는 모집단 손실을 도입한다.
• 비연속적 분위수 손실을 커널-스무딩 버전으로 대체하여 기울기와 Hessian 표현이 있는 미분 가능 목표를 얻는다.
• beta에 대한 희소성 유도 지시자를 사용하여 경험적 스무딩 목적함수를 최소화함으로써 Kernel-Smoothed Focused Invariance Quantile Regression (KSFIQR) 추정기를 개발한다.
• 스무딩된 목표가 진정한 파라미터 근처에서 지역적으로 강凸하다는 것을 보여주고 거의 최소 식별 조건 하에서 활성 집합을 복구하는 동시에 내생 변수는 피한다.
• 최적화에 L-BFGS-B와 Gumbel 트릭을 이용한 알고리즘 구현을 개략적으로 제시한다.

실험 결과

연구 질문

• RQ1 tau-CP-invariant 모델 across environments에서 invariant 집합 S*를 식별하고 invariant 파라미터 beta*를 추정할 수 있는가?
• RQ2 커널-스무딩된 집중 불변 정규화가 비점근적 저차원 설정에서 인과 예측자를 신뢰하게 복구하고 내생 변수를 선별할 수 있는가?
• RQ3 환경 간 분위수 불변성에 집중하는 것이 평균 기반 접근법에 비해 강인성과 일반화에 어떤 이점을 주는가?
• RQ4 KSFIQR에 대한 이론적 보장(추정 오차, 변수 선택)은 약한 식별 조건하에서 무엇인가?
• RQ5 제안된 프레임워크를 실제로 어떻게 효율적으로 구현할 수 있는가?

주요 결과

• 환경 간 불변 조건부 분위수를 포착하기 위한 IQR 프레임워크 도입.
• 미분 가능 최적화를 가능하게 하는 커널-스무딩된 경험적 목적함수를 제안하여 실용적 계산을 가능하게 한다.
• KSFIQR 추정기가 저차원 영역에서 비점근 l2 오차 한계를 달성한다는 것을 보인다.
• 방법은 불변 인과 예측자의 식별을 개선하고 약한 조건에서 내생 변수들을 배제할 수 있음을 보여준다.
• L-BFGS-B와 Gumbel 트릭을 이용한 알고리즘 지침이 수치적 연구로 검증된다.