[논문 리뷰] General framework for projection structures

Eduard Belitser, Nurzhan Nurushev|arXiv (Cornell University)|2019. 03. 31.

Advanced Optimization Algorithms Research참고 문헌 49인용 수 6

한 줄 요약

이 논문은 고차원 통계에서 투사 구조에 대한 일반적이고 분포에 종속되지 않은 프레임워크를 개발하며, 데이터에 의존하는 측도(DDM)와 과도한 편향 제약(EBR)을 도입하여 오рак루트 최적의 신뢰구역을 갖는 局소적 불확실성 정량화(UQ)를 가능하게 한다. 이 프레임워크는 희소성, 부드러움, 군집화 구조 등 광범위한 모델 클래스를 통합하고, 다양한 척도에서 최소최대 적응형 결과를 도출한다.

ABSTRACT

In the first part, we develop a general framework for projection structures and study several inference problems within this framework. We propose procedures based on data dependent measures (DDM) and make connections with empirical Bayes and penalization methods. The main inference problem is the uncertainty quantification (UQ), but on the way we solve the estimation, DDM-contraction problems, and a weak version of the structure recovery problem. The approach is local in that the quality of the inference procedures is measured by the local quantity, the oracle rate, which is the best trade-off between the approximation error by a projection structure and the complexity of that approximating projection structure. Like in statistical learning settings, we develop distribution-free theory as no particular model is imposed, we only assume certain mild condition on the stochastic part of the projection predictor. We introduce the excessive bias restriction (EBR) under which we establish the local confidence optimality of the constructed confidence ball. The proposed general framework unifies a very broad class of high-dimensional models and structures, interesting and important on their own right. In the second part, we apply the developed theory and demonstrate how the general results deliver a whole avenue of local and global minimax results (many new ones, some known results from the literature are improved) for particular models and structures as consequences, including white noise model and density estimation with smoothness structure, linear regression and dictionary learning with sparsity structures, biclustering and stochastic block models with clustering structure, covariance matrix estimation with banding and sparsity structures, and many others. Various adaptive minimax results over various scales follow also from our local results.

연구 동기 및 목표

• 투사 구조를 이용한 고차원 모델에서 추론을 위한 통합적이고 분포에 종속되지 않은 이론적 프레임워크를 수립하기 위해.
• 데이터에 의존하는 측도(DDM)와 과도한 편향 제약(EBR)를 통해 국소적 최적성 보장을 갖는 불확실성 정량화(UQ)를 다루기 위해.
• 희소성, 부드러움, 군집화, 형태 제약 등 다양한 모델과 구조에서 최소최대 적응형 결과를 도출하기 위해.
• 신뢰구역이 균일한 커버리지 달성을 위한 조건을 규명함으로써 UQ에서의 오도 현상(Deceptiveness phenomenon)을 해결하기 위해.
• DDM 기반 절차를 통해 프레임워크를 경험베이즈 및 페널티 방법과 연결하기 위해.

제안 방법

• 데이터에 의존하는 측도(DDM)를 사용하여 추정 편향과 분산을 적응적으로 균형 잡는 투사 구조를 위한 일반적 프레임워크를 제안한다.
• 오라클 레이트를 국소적 성능 측도로 정의하며, 이는 근사 오차와 구조적 복잡성 간의 최소 무역을 의미한다.
• 국소적 신뢰도 최적화를 보장하기 위해 과도한 편향 제약(EBR)을 적용하여, 신뢰구역의 균일한 커버리지 가능성을 확보한다.
• DDM 수축 결과를 활용하여 다양한 부드러움 및 희소성 척도에서 추정 일致성과 적응성을 확립한다.
• 코로나리 8.2를 통해 국소 오라클 레이트 결과로부터 전역 최소최대 결과를 도출하며, 소볼레프 타원체와 $\beta$-홀더 클래스와 같은 척도에서의 적응 가능성을 가능하게 한다.
• 구조와 복잡성 측도를 명시함으로써 사전학습, 공분산 추정, 이분군집화 등 특정 모델에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 고차원 투사 구조에서 불확실성 정량화를 위한 일반적이고 분포에 종속되지 않은 프레임워크를 개발할 수 있는가?
• RQ2 제안된 신뢰구역이 국소 최적성과 균일한 커버리지 달성을 달성하는 조건은 무엇인가?
• RQ3 이 프레임워크는 희소성, 부드러움, 군집화, 형태 제약 등 다양한 모델을 어떻게 통합하는가?
• RQ4 과도한 편향 제약(EBR)은 UQ에서의 오도 현상 제거에 어떤 역할을 하는가?
• RQ5 국소 오라클 레이트 결과는 다양한 척도에서 전역 최소최대 적응형 결과로 확장될 수 있는가?

주요 결과

• EBR 하에서 제안된 신뢰구역은 국소 신뢰도 최적성을 달성하며, 매우 구조화된 매개변수의 얇은 집합을 제외하고는 매개변수 공간 전역에서 균일한 커버리지가 보장된다.
• 희소 사전학습 모델에서 최소최대 속도는 $ r^2(\theta) \asymp \sigma^2 \min\{np + m\bar{s}\log(ep/\bar{s}), nm\} $ 로 표현되며, 기존 결과와 일치하고 적응성 향상이 이루어진다.
• 희소 사전학습 모델에서 약간의 차원 제약 조건($ m \lesssim p^2 n $) 하에서 오도 현상이 피할 수 있으며, 이로 인해 신뢰구역의 균일한 커버리지가 보장된다.
• 코로나리 8.2를 통해 프레임워크는 소볼레프 타원체, 베존 척도, 약한 $ \ell_q $-구역 등에 대해 전역 최소최대 적응형 결과를 도출한다.
• 이분군집화 및 스토하스틱 블록 모델에 대해 프레임워크는 기존 최소최대 속도를 재현하며, 동일한 오라클 레이트 프레임워크 하에서 새로운 적응형 결과를 제공한다.
• 오라클 레이트에 정교한 최대함수 $ \bar{\rho}(I) $ 를 사용함으로써 $ m \lesssim np $ 를 요구하지 않아도 개선된 경계를 확보할 수 있어 일반성 향상이 이루어진다.