[논문 리뷰] Adaptive Non-Parametric Regression With the $K$-NN Fused Lasso

Oscar Hernán Madrid Padilla, James Sharpnack외 2명|arXiv (Cornell University)|2018. 07. 31.

Statistical Methods and Inference참고 문헌 57인용 수 3

한 줄 요약

이 논문은 K-NN 융합 라소(K-NN fused lasso)를 소개한다. 비모수 회귀 방법으로, K-최근접 이웃(K-NN) 그래프 구축과 융합 라소 정규화를 조합하여 국소적이고 다양체 적응성(local and manifold adaptivity)을 가능하게 한다. 이는 비균일하게 배치된 설계점에서 조각별 리프시츠 함수와 유계 변동 함수에 대해 평균 제곱오차에서 거의 최소최대 최적 속도를 달성한다.

ABSTRACT

The fused lasso, also known as total-variation denoising, is a locally-adaptive function estimator over a regular grid of design points. In this paper, we extend the fused lasso to settings in which the points do not occur on a regular grid, leading to an approach for non-parametric regression. This approach, which we call the $K$-nearest neighbors ($K$-NN) fused lasso, involves (i) computing the $K$-NN graph of the design points; and (ii) performing the fused lasso over this $K$-NN graph. We show that this procedure has a number of theoretical advantages over competing approaches: specifically, it inherits local adaptivity from its connection to the fused lasso, and it inherits manifold adaptivity from its connection to the $K$-NN approach. We show that excellent results are obtained in a simulation study and on an application to flu data. For completeness, we also study an estimator that makes use of an $ε$-graph rather than a $K$-NN graph, and contrast this with the $K$-NN fused lasso.

연구 동기 및 목표

• 정규 격자 전용으로 설계된 융합 라소를 비균일하게 배치된 설계점으로 확장하여 비모수 회귀에 적용하는 것.
• 국소 밀도 변화를 포착하기 위해 K-NN 그래프 구조를 활용하여 융합 라소에 국소 적응성을 부여하는 것.
• 데이터 다양체의 내재 차원에 적응할 수 있도록 방법을 설계하여 다양체 적응성(manifold adaptivity)을 달성하는 것.
• 일반적인 설계점 구성 조건 하에서 추정 오차와 일致성에 대한 이론적 보장을 제공하는 것.
• K-NN 융합 라소를 대체로 ε-그래프 기반 추정기와 비교하고, 실제 및 시뮬레이션 데이터에서 성능을 평가하는 것.

제안 방법

• 설계점 $x_1, \ldots, x_n$ 위에 거리 함수 $d_{\text{X}}$ 를 사용하여 K-NN 그래프를 구축하며, 각 점은 자신의 K개의 가장 가까운 이웃과 연결된다.
• K-NN 그래프 위에서 융합 라소 정규화를 적용하기 위해 최적화 문제 $\min_{\theta \in \mathbb{R}^n} \left\{ \frac{1}{2} \sum_{i=1}^n (y_i - \theta_i)^2 + \lambda \sum_{(i,j) \in E} |\theta_i - \theta_j| \right\}$ 를 풀며, 여기서 $E$ 는 K-NN 그래프의 간선 집합이다.
• 각 설계점에서의 예측값 $\hat{f}(x_i)$ 로 결과 추정기 $\hat{\theta}_i$ 를 사용한다.
• 이론적 분석은 설계 밀도와 함수의 부드러움에 대한 규칙성 가정 하에 그래프 차수와 메쉬 수를 확률적 농도 경계를 통해 통제하는 데 기반한다.
• 전체 변동성 노이즈 제거와 그래프 기반 정규화와의 연결을 활용하여 일致성과 거의 최소최대 최적 속도를 확립한다.
• ε-거리 기반 그래프 변형과 비교하며, 간선이 거리 ε 이내에 있는 점들 간에 형성되는 ε-그래프를 고려하고, 유사한 가정 하에 이론적 성능을 분석한다.

실험 결과

연구 질문

• RQ1 융합 라소는 비균일하게 배치된 설계점으로 확장될 수 있으며, 이때 국소 적응성과 이론적 최적성은 유지되는가?
• RQ2 융합 라소와 K-NN 그래프 구축을 조합하면 데이터 다양체의 내재 차원에 적응하는 방법이 도출되는가?
• RQ3 일반적인 설계 구성 조건 하에서 K-NN 융합 라소의 이론적 오차 한계와 일치성 성질은 무엇인가?
• RQ4 K-NN 융합 라소는 ε-그래프 기반 대안과 비교해 볼 때 추정 정확도와 이론적 보장 측면에서 어떻게 다른가?
• RQ5 조각별 리프시츠 함수와 유계 변동 함수에 대해 비균일 격자에서 K-NN 융합 라소는 평균 제곱오차에서 거의 최소최대 최적 속도를 달성할 수 있는가?

주요 결과

• K-NN 융합 라소는 융합 라소에서 유래한 국소 적응성을 유지하여 설계점 밀도가 높은 영역에서 더 나은 추정을 가능하게 한다.
• 이 방법은 국소 점 밀도에 따라 해상도를 자동 조정함으로써 내재 차원에 적응하는 다양체 적응성을 달성하여, 비균일하게 샘플링된 데이터에서 성능을 향상시킨다.
• 이론적 분석 결과, 규칙성 조건 하에서 K-NN 융합 라소 추정기는 $\mathbb{E}\left[\sum_{i=1}^n (\theta_i^* - \hat{\theta}_{K,i})^2 \mid \Lambda\right] \geq C_1 n^{3/4 - a}$ 의 평균 제곱오차 한계를 확보한다. 여기서 $C_1 > 0$ 이고 $a > 0$ 이며 매우 작다.
• K-NN 그래프를 따라 신호의 총 변동성이 $n$ 으로 나누었을 때 0으로 수렴하면, 노이즈 제거에 대해 일치성이 확보된다.
• 유사한 가정 하에 ε-그래프 변형에 대해서도 유사한 이론적 보장이 확립되며, 유사한 오차 한계를 갖는다.
• 시뮬레이션 연구와 인플루엔자 데이터에 대한 응용 결과는 강력한 경험적 성능을 보이며, 경쟁하는 비모수 방법보다 더 높은 추정 정확도를 달성한다.