[논문 리뷰] Nonparametric Online Regression while Learning the Metric

Ilja Kuzborskij, Nicolò Cesa‐Bianchi|arXiv (Cornell University)|2017. 05. 22.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 3

한 줄 요약

이 논문은 데이터로부터 매트릭스를 학습하면서도 회귀 함수의 주요 방향을 따라 부드러움을 적응적으로 반영하는 온라인 비모수 회귀 알고리즘을 제안한다. 이 알고리즘은 기울기 외적곱 행렬의 유효 질량에 비례하는 회귀 손실 한계를 달성하며, 진짜 함수가 특정 방향에서 더 부드러울 경우 기존의 표준 한계보다 향상된다. 또한 단계적 추정 절차를 통해 메트릭의 유효 차원수에 자동으로 적응한다.

ABSTRACT

We study algorithms for online nonparametric regression that learn the directions along which the regression function is smoother. Our algorithm learns the Mahalanobis metric based on the gradient outer product matrix $\boldsymbol{G}$ of the regression function (automatically adapting to the effective rank of this matrix), while simultaneously bounding the regret ---on the same data sequence--- in terms of the spectrum of $\boldsymbol{G}$. As a preliminary step in our analysis, we extend a nonparametric online learning algorithm by Hazan and Megiddo enabling it to compete against functions whose Lipschitzness is measured with respect to an arbitrary Mahalanobis metric.

연구 동기 및 목표

• 주요 방향을 따라 회귀 함수의 내재 부드러움에 적응하는 온라인 학습 알고리즘을 개발하는 것.
• 함수의 부드러움 구조에 대한 사전 지식 없이, 예측에 사용된 동일한 데이터 시퀀스에서 실시간으로 마할라노비스 메트릭을 학습하는 것.
• 기존의 비모수 온라인 학습 손실 한계를 임의의 마할라노비스 메트릭으로 확장하여 방향성 리프시츠 조건을 포괄하는 것.
• 손실 한계를 기울기 외적곱 행렬의 유효 질량에 비례하도록 표현하는 것.
• 온라인 학습 중에 손실을 낮추면서도 기울기 외적곱 행렬을 단계적으로 추정하는 단계적 알고리즘을 설계하는 것.

제안 방법

• 알고리즘은 임의의 마할라노비스 메트릭 하에서 방향성 리프시츠 조건을 가진 함수와 경쟁하는 데 일반화된 하잔과 메기도의 비모수 온라인 학습 프레임워크를 활용한다.
• 기울기 외적곱 행렬을 이전 단계의 데이터를 사용해 점진적으로 추정하는 단계적 접근을 사용한다.
• 각 단계에서 입력 공간을 구역으로 나누고, 현재 메트릭 추정치에서 유도된 커널을 사용하는 정규화 최소제곱(RLS) 예측 규칙을 유지한다.
• 과거 데이터를 기반으로 계산된 경험적 기울기 외적곱 행렬을 사용해 메트릭을 업데이트하며, 고유분해를 통해 변동의 주요 방향을 식별한다.
• 메트릭 추정 오차와 그로 인한 예측 정확도 영향을 고려한 고확률 분석을 통해 손실을 경계한다.
• 수축하는 임계값을 기준으로 한 고유값 수를 기반으로 한 유효 차원수에 자동으로 적응한다.

실험 결과

연구 질문

• RQ1 회귀 함수의 내재 부드러움을 반영하는 마할라노비스 메트릭을 학습함으로써 온라인 비모수 회귀를 향상시킬 수 있는가?
• RQ2 기울기 외적곱 행렬의 스펙트럼에 따라 손실 한계를 어떻게 표현할 수 있는가?
• RQ3 동일한 데이터 시퀀스에서 손실을 낮추면서도 기울기 외적곱 행렬을 온라인으로 추정할 수 있는가?
• RQ4 메트릭 추정 오차가 최종 손실에 미치는 영향은 무엇이며, 이를 고확률적으로 어떻게 통제할 수 있는가?
• RQ5 메트릭의 유효 질량에 적응함으로써, 함수가 저차원 부분공간에서 더 부드러울 경우 향상된 한계를 달성할 수 있는가?

주요 결과

• 손실 한계는 $\left(\sqrt{\mathrm{det}_{\kappa}(\mathbf{M})} + \sqrt{\sum_{i=1}^{d}\frac{\|\nabla_{\mathbf{u}_i}f\|_{\infty}^2}{\lambda_i}}\right)T^{\rho_T/(1+\rho_T)}$ 로 표현되며, 여기서 $\rho_T$ 는 메트릭의 유효 질량이고 $\mathrm{det}_{\kappa}(\mathbf{M})$ 은 잘라낸 메트릭의 행렬식을 나타낸다.
• 진짜 함수가 기울기 외적곱 행렬의 작은 고유값에 해당하는 방향에서 더 부드러울 경우, 표준 유클리드 기반의 경우에 비해 한계가 크게 향상된다.
• 고확률적으로 알고리즘은 $\widetilde{\mathcal{O}}\left(\left(1 + \sum_{j=1}^{d}\frac{\left(\|\nabla_{\mathbf{u}_j}f_0\|_{\infty} + \|\nabla_{V_\Delta^\perp}f_0\|_{\infty}\right)^2}{\mu_j/\mu_1}\right)T^{\widetilde{\rho}_T/(1+\widetilde{\rho}_T)}\right)$ 의 손실 한계를 달성한다.
• 알고리즘은 메트릭의 유효 차원수에 자동으로 적응하며, $\rho_T$ 는 유의미한 고유값의 수를 나타내고 $\mathrm{det}_{\kappa}(\mathbf{M})$ 은 고차원적이고 불안정한 메트릭에 대해 페널티를 가한다.
• 메트릭이 i.i.d. 데이터로부터 학습될 경우, 기대 기울기 외적곱 행렬은 마할라노비스 행렬에 대해 자연스럽고 최적의 선택이다.
• 메트릭이 항등행렬로 설정될 경우, 알고리즘이 표준 $T^{d/(1+d)}$ 손실 한계를 회복함으로써 이전 연구와의 일관성을 확인한다.