[논문 리뷰] Global empirical risk minimizers with "shape constraints" are rate optimal in general dimensions

Qiyang Han|arXiv (Cornell University)|2019. 05. 30.

Statistical Methods and Inference참고 문헌 41인용 수 14

한 줄 요약

이 논문은 형태 제약 조건이 있는 고차원 모델에서 전역 경험 리스크 최소화자(global empirical risk minimizers, ERMs)가 엔트로피 적분이 발산하더라도 비율 최적 수렴 속도를 달성함을 입증한다. 이는 오랫동안 존재했던 상한과 하한 간의 격차를 해결한 것으로, 단조성 또는 오목성 등의 형태 제약 조건을 활용해 가측 집합 위의 경험 과정에 대해 상하한이 일치하는 결과를 도출함으로써, 등치 회귀, 밀도 추정, 분류와 같은 설정에서 전역 ERMs가 최소 최대 최적임을 증명한다.

ABSTRACT

Entropy integrals are widely used as a powerful tool to obtain upper bounds for the rates of convergence of global empirical risk minimizers (ERMs), in standard settings such as density estimation and regression. The upper bound for the convergence rates thus obtained typically matches the minimax lower bound when the entropy integral converges, but admits a strict gap compared with the lower bound when it diverges. [BM93] provided a striking example showing that such a gap is real with the entropy structure alone: for a variant of the natural Holder class with low regularity, the global ERM actually converges at the rate predicted by the entropy integral that substantially deviates from the lower bound. The counter-example has spawned a long-standing negative position on the use of global ERMs in the regime where the entropy integral diverges, as they are heuristically believed to converge at a sub-optimal rate in a variety of models. The present paper demonstrates that this gap can be closed if the models admit certain degree of `shape constraints' in addition to the entropy structure. In other words, the global ERMs in such `shape-constrained' models will indeed be rate-optimal, matching the lower bound even when the entropy integral diverges. The models with `shape constraints' we investigate include (i) edge estimation with additive and multiplicative errors, (ii) binary classification, (iii) multiple isotonic regression, (iv) $s$-concave density estimation, all in general dimensions when the entropy integral diverges. Here `shape constraints' are interpreted broadly in the sense that the complexity of the underlying models can be essentially captured by the size of the empirical process over certain class of measurable sets, for which matching upper and lower bounds are obtained to facilitate the derivation of sharp convergence rates for the associated global ERMs.

연구 동기 및 목표

• 고차원 모델에서 전역 ERMs에 대한 엔트로피 적분 기반 상한과 최소 최대 하한 간의 오랫동안 존재한 격차를 해결하기 위해.
• 엔트로피 적분이 발산할 경우 전역 ERMs가 열악한 성능을 보인다는 직관적 믿음을 도전하기 위해.
• 단조성, 오목성, 등치성 등의 형태 제약 조건이 이러한 영역에서 비율 최적성을 복원할 수 있음을 보여주기 위해.
• 등치 회귀, s-오목 밀도 추정 등 다양한 모델의 분석을 형태 제약 조건 기반의 경험 과정에 대한 공통 프레임워크로 통합하기 위해.
• 형태 제약 조건이 있는 모델에서 경험 과정에 대해 상하한이 일치하는 결과를 도출하여 정밀한 수렴 속도 분석을 가능하게 하기 위해.

제안 방법

• 형태 제약 조건에 의해 유도되는 가측 집합의 클래스에 대한 경험 과정의 복잡도를 분석하며, 엔트로피 적분의 구조에만 의존하는 것과는 달리 접근한다.
• 이러한 구조화된 집합 위에서 경험 과정의 최대값에 대해 상하한이 일치하는 결과를 도출함으로써 정밀한 수렴 속도 분석을 가능하게 한다.
• 형태 제약 조건이 유도하는 기하학적 및 순서적 구조에 맞춰 조정된 메트릭 엔트로피와 체이닝 기법을 활용한다.
• 일반적인 차원에 적용 가능하며, 덧셈형 및 곱셈형 오차 모델을 모두 수용할 수 있다.
• 위험의 새로운 분해를 도입하여, 전통적인 엔트로피 기반 항과 형태 제약 조건의 복잡도 기여를 분리한다.
• 핵심적인 기술적 혁신은 형태 제약 조건으로 정의된 집합의 클래스의 엔트로피를 경계 짓는 데 있으며, 이는 수렴 속도가 최소 최대 하한과 일치하도록 한다.

실험 결과

연구 질문

• RQ1 엔트로피 적분이 발산할 경우 고차원 모델에서 전역 경험 리스크 최소화자가 비율 최적 수렴을 달성할 수 있는가?
• RQ2 단조성 또는 오목성과 같은 형태 제약 조건이 엔트로피 기반 상한과 최소 최대 하한 간의 격차를 메워줄 수 있는가?
• RQ3 등치 회귀, s-오목 밀도 추정 등 일반적인 모델 클래스 중에서 형태 제약 조건의 포함이 비율 최적성을 복원하는가?
• RQ4 경험 과정 이론은 표준 엔트로피 구조를 초월해 형태 제약 조건이 있는 모델의 복잡도를 어떻게 반영할 수 있는가?
• RQ5 형태 제약 조건으로 정의된 가측 집합 위의 경험 과정에 대해 상하한이 일치하는 결과를 도출할 수 있는가? 이를 통해 정밀한 수렴 속도 보장이 가능한가?

주요 결과

• 엔트로피 적분이 발산하더라도 형태 제약 조건이 있는 모델에서 전역 ERMs는 최소 최대 최적 수렴 속도를 달성한다.
• 이 논문은 엔트로피 적분이 예측하는 속도가 이러한 모델에서 하한이 아니며, 형태 제약 조건이 진정한 최소 최대 속도에 도달할 수 있음을 입증한다.
• 일반적인 차원에서의 다중 등치 회귀 모델에서 엔트로피 적분이 발산하더라도 전역 ERM은 최적 수렴 속도를 달성한다.
• 덧셈형/곱셈형 오차가 있는 s-오목 밀도 추정 및 경계 추정에서 형태 제약 조건이 있으면 전역 ERMs는 비율 최적이다.
• 형태 제약 조건으로 정의된 가측 집합 위의 경험 과정에 대해 날카운 상하한을 제공함으로써 정밀한 수렴 속도 분석이 가능하다.
• 엔트로피 적분이 발산하는 영역에서 전역 ERMs가 열악한 성능을 보인다는 오랜 난제를 해결하였으며, 형태 제약 조건이 존재할 경우 전역 ERMs가 본질적으로 열악하지 않음을 보여준다.