[논문 리뷰] Optimal solutions to the isotonic regression problem

Alexander I. Jordan, Anja Mühlemann외 1명|arXiv (Cornell University)|2019. 04. 09.

Advanced Statistical Methods and Models참고 문헌 24인용 수 6

한 줄 요약

이 논문은 식별 함수를 통한 정의를 통해 기대값, 분위수, 예상값 등 다양한 함수형에 대해 최적의 해가 존재함을 보이며, 이러한 해가 일관된 손실 함수 전반에서 동시에 최적임을 증명한다. 핵심 기여는 부분 순서 하에서 최적의 등온 회귀 해를 최소-최대/최대-최소 특성으로 기술한 것으로, 풀-이웃-위반자(PAV) 알고리즘을 일반적인 순서 제약 최적화로 확장한다.

ABSTRACT

In general, the solution to a regression problem is the minimizer of a given loss criterion, and depends on the specified loss function. The nonparametric isotonic regression problem is special, in that optimal solutions can be found by solely specifying a functional. These solutions will then be minimizers under all loss functions simultaneously as long as the loss functions have the requested functional as the Bayes act. For the functional, the only requirement is that it can be defined via an identification function, with examples including the expectation, quantile, and expectile functionals. Generalizing classical results, we characterize the optimal solutions to the isotonic regression problem for such functionals, and extend the results from the case of totally ordered explanatory variables to partial orders. For total orders, we show that any solution resulting from the pool-adjacent-violators algorithm is optimal. It is noteworthy, that simultaneous optimality is unattainable in the unimodal regression problem, despite its close connection.

연구 동기 및 목표

• 고전적 등온 회귀 프레임워크를 기대값 기능을 초월해 식별 함수로 정의된 일반 함수형으로 확장하는 것.
• 등온 회귀 해가 특정 손실 함수에 관계없이 모든 일관된 손실 함수에 동시에 최적임이 되는 조건을 설정하는 것.
• 예측 변수에 대한 부분 순서로 등온 회귀 알고리즘(PAV)과 그 최적성 성질을 일반화하는 것.
• 등온 회귀와 유사한 구조를 지닌 단모양 회귀에서 동시에 최적성이 실패하는 이유를 밝히는 것.
• 전체 순서 하에서 집합값 함수형에 대해 최적 해를 완전히 기술하는 것.

제안 방법

• 기대값, 분위수, 예상값 등의 함수형을 정의하기 위해 식별 함수를 사용하여 다양한 회귀 목표를 통합적으로 다룰 수 있도록 한다.
• 일관된(Bregman 유형의) 손실 함수 개념을 적용하여 진짜 함수형 값이 기대 손실을 최소화함을 보이며, 등온 해가 이러한 모든 손실 함수에 대해 최적임을 증명한다.
• 최적의 등온 해를 위한 최소-최대 및 최대-최소 공식을 도입한다: $\hat{g}(z_\ell) = \min_{j \geq \ell} \max_{i \leq j} \mathbb{E}_{i:j} Y = \max_{i \leq \ell} \min_{j \geq i} \mathbb{E}_{i:j} Y $, 이는 고전적 PAV 해를 일반화한다.
• 예측 변수에 대한 부분 순서로 프레임워크를 확장하기 위해 분할 구조 $\mathcal{Q}_z$ 를 정의하고, 순서 이상과 필터를 사용하여 최적 해를 특성화한다.
• 예측 성능을 비교하고 단모양 회귀에서 동시에 최적성이 성립하지 않는 것을 입증하기 위해 Murphy 다이어그램과 기대 기본 점수를 활용한다.
• 단모양 제약 하에서의 타당 해 집합이 합집합과 교집합에 대해 닫혀 있지 않음을 증명하며, 이는 동시에 최적성의 조건을 위반함을 보여준다.

실험 결과

연구 질문

• RQ1 기대값이 아닌 일반 함수형에 대해 등온 회귀 해가 모든 일관된 손실 함수에 동시에 최적일 수 있는가?
• RQ2 기본 평균이 아닌 식별 함수로 정의된 함수형에 대해 최적의 등온 해의 일반 형태는 무엇인가?
• RQ3 등온 회귀 알고리즘(PAV)과 그 최적성은 예측 변수에 대한 부분 순서로 어떻게 일반화될 수 있는가?
• RQ4 등온 회귀와 유사한 구조를 지닌 단모양 회귀에서 동시에 최적성이 실패하는 이유는 무엇인가?
• RQ5 일관된 손실 함수 전반에 걸쳐 동시에 최적성이 성립하기 위한 해 공간에 필요한 필수 조건은 무엇인가?

주요 결과

• 함수형 $T$ 가 식별 함수로 정의되고 $T$ 가 간격 유형의 기능일 경우, 최적의 등온 회귀 해는 모든 일관된 손실 함수의 최소화자로 동시에 작용한다.
• 전체 순서 하에서는 PAV 알고리즘으로 생성된 임의의 해가 최적이며, 최소-최대/최대-최소 공식은 유일한 최적 해를 특성화한다.
• 분할 구조 $\mathcal{Q}_z$ 를 정의함으로써 프레임워크는 부분 순서로 일반화되며, 최적 해는 순서 이상과 필터에 의해 결정된다.
• 단모양 회귀에서는 네 개의 데이터 포인트를 포함한 반례와 Murphy 다이어그램 비교를 통해 어떤 하나의 해도 모든 일관된 손실 함수에 대해 우월하지 않음을 입증한다.
• 단모양 회귀에서 동시에 최적성이 실패하는 이유는 해 공간이 합집합과 교집합에 대해 닫혀 있지 않기 때문이며, 이는 동시에 최적성을 위한 필수 조건을 위반하기 때문이다.
• 함수형이 집합값일 경우(예: 분위수), 최적 해의 완전한 특성화를 제공하며, 이는 해가 경계값 $T^-$ 와 $T^+$ 의 볼록 조합과 대응됨을 보여준다.