[논문 리뷰] Uniform Consistency of the Highly Adaptive Lasso Estimator of Infinite Dimensional Parameters

Mark J. van der Laan, Aurélien Bibaut|arXiv (Cornell University)|2017. 09. 19.

Stochastic processes and financial applications참고 문헌 1인용 수 6

한 줄 요약

이 논문은 약한 연속성 조건 하에서 무한차원 매개변수에 대한 고도로 적응적인 라소(HAL) 추정량의 균일한 일致성을 확립하며, 이는 이전의 빠른 수렴 속도 결과를 일반화한 것이다. HAL 추정량은 유계 변동(norm)을 가진 cadlag 함수 위에서 경험 위험을 최소화하는 방식으로 정의되며, 규칙성 조건 하에서 진짜 매개변수 함수로의 균일한 수렴을 보장한다. 이는 진짜 매개변수에 대해 유한한 변동 이외의 부드러움 가정이 없는 비모수 모형에서도 성립한다.

ABSTRACT

Consider the case that we observe $n$ independent and identically distributed copies of a random variable with a probability distribution known to be an element of a specified statistical model. We are interested in estimating an infinite dimensional target parameter that minimizes the expectation of a specified loss function. In \cite{generally_efficient_TMLE} we defined an estimator that minimizes the empirical risk over all multivariate real valued cadlag functions with variation norm bounded by some constant $M$ in the parameter space, and selects $M$ with cross-validation. We referred to this estimator as the Highly-Adaptive-Lasso estimator due to the fact that the constrained can be formulated as a bound $M$ on the sum of the coefficients a linear combination of a very large number of basis functions. Specifically, in the case that the target parameter is a conditional mean, then it can be implemented with the standard LASSO regression estimator. In \cite{generally_efficient_TMLE} we proved that the HAL-estimator is consistent w.r.t. the (quadratic) loss-based dissimilarity at a rate faster than $n^{-1/2}$ (i.e., faster than $n^{-1/4}$ w.r.t. a norm), even when the parameter space is completely nonparametric. The only assumption required for this rate is that the true parameter function has a finite variation norm. The loss-based dissimilarity is often equivalent with the square of an $L^2(P_0)$-type norm. In this article, we establish that under some weak continuity condition, the HAL-estimator is also uniformly consistent.

연구 동기 및 목표

• 비모수 통계 모형에서 무한차원 매개변수에 대한 고도로 적응적인 라소(HAL) 추정량의 균일한 일치성을 확립하기 위해.
• 이전의 HAL 추정량의 빠른 수렴 속도 결과를 약한 연속성 조건 하에서 균일 수렴으로 확장하기 위해.
• 진짜 매개변수 함수의 연속점에서 HAL 추정량이 진짜 매개변수로 수렴하는 점근적 수렴이 연속인 진짜 매개변수일 경우 균일 수렴으로 이어진다는 것을 보여주기 위해.
• 고차원 비모수 설정에서 최소한의 부드러움 가정으로도 HAL 추정량의 강건성과 효율성에 대한 이론적 근거를 제공하기 위해.

제안 방법

• HAL 추정량은 유계 변동(norm)을 가진 cadlag 함수의 클래스 위에서 경험 위험 $ P_n L( heta) $ 를 최소화하는 값으로 정의된다.
• 변동(norm)은 좌표의 부분집합들 위에서의 적분들의 합으로 표현되며, 이는 지표 기저 함수들에 대한 선형 전개를 가능하게 한다.
• 기저 함수의 계수에 라소 유형의 펜alties를 적용하며, 진짜 변동 norm을 알지 못하더라도 교차검증을 통해 bound $ M $ 을 선택한다.
• 균일 일치성은 진짜 매개변수의 연속점에서 추정량이 진짜 매개변수로 수렴하는 점근적 수렴을 증명한 후, 진짜 매개변수의 연속성과 하인의 정리를 이용해 균일 수렴을 도출함으로써 확립된다.
• 증명은 측도의 연속성과 이산 성분을 분리하기 위해 하인 분해(Hahn decomposition)를 활용하며, 손실 기반 이질성에서의 수렴을 이용해 점근적 수렴을 유도한다.
• 핵심 기술적 단계는, 한계의 연속점에서 측도의 수렴이 한계가 연속일 경우 총 변동에서의 수렴을 이끌어내며, 이는 진짜 매개변수가 연속일 경우 균일 수렴의 기초를 이룬다.

실험 결과

연구 질문

• RQ1 HAL 추정량이 무한차원 매개변수에 대해 균일 일치성이 성립하는 조건은 무엇인가?
• RQ2 진짜 매개변수의 부드러움을 가정하지 않고, 유한한 변동 이외의 조건만을 요구할 경우 균일 일치성이 확보될 수 있는가?
• RQ3 진짜 매개변수의 연속점에서 HAL 추정량이 진짜 매개변수로 수렴하는 점근적 수렴이 어떻게 균일 수렴으로 이어지는가?
• RQ4 진짜 매개변수 함수의 연속성이 HAL 추정량의 균일 수렴을 보장하는 데 어떤 역할을 하는가?
• RQ5 매개변수 공간이 비모수적이고 진짜 함수가 유한한 변동만을 갖는 경우에도 HAL 추정량은 균일 일치성이 성립하는가?

주요 결과

• 약한 연속성 조건 하에서, 진짜 매개변수가 유한한 변동 norm만을 갖는 비모수 모형에서도 HAL 추정량은 균일 일치성을 보인다.
• 진짜 매개변수가 연속일 경우, 진짜 매개변수의 연속점에서의 점근적 수렴이 균일 수렴으로 이어진다.
• 증명은 한계의 연속점에서 측도의 수렴이 한계가 연속일 경우 총 변동 수렴으로 이어지며, 이는 하인의 정리를 통해 균일 수렴을 이끌어내는 데 기초한다.
• HAL 추정량은 손실 기반 이질성에서 $ n^{-1/2} $ 보다 빠른 수렴 속도를 달성하며, 진짜 매개변수가 연속일 경우 이 속도가 균일 일치성으로 이어진다.
• 매개변수 공간이 유계 변동 norm을 가진 cadlag 함수의 전체 비모수 클래스일 경우에도 추정량은 여전히 균일 일치성을 유지한다.
• 결과는 최소한의 가정 하에서 성립한다: 유계 손실 함수, 진짜 매개변수의 유한한 변동, 진짜 매개변수 함수의 연속성.