[논문 리뷰] Regularised Least-Squares Regression with Infinite-Dimensional Output Space

Jun-Hyung Park, Krikamol Muandet|arXiv (Cornell University)|2020. 10. 21.

Face and Expression Recognition참고 문헌 15인용 수 5

한 줄 요약

이 논문은 출력 공간이 무한차원이고 입력 영역이 비콤팩트일 수 있는 벡터값 재생 쿼드리틱 힐버트 공간(vvRKHS)에서 정규화된 최소 제곱 회귀의 보편 일致성을 확립한다. 비콤팩트 연산자의 스펙트럼 이론과 최소한의 가정—출력의 두 번째 순서 모멘트가 유한함—을 사용하여, 유계성이나 콤팩트성 가정 없이도 추정기의 확률적 수렴을 증명한다. 이는 진짜 조건부 기대값으로의 수렴을 보장한다.

ABSTRACT

This short technical report presents some learning theory results on vector-valued reproducing kernel Hilbert space (RKHS) regression, where the input space is allowed to be non-compact and the output space is a (possibly infinite-dimensional) Hilbert space. Our approach is based on the integral operator technique using spectral theory for non-compact operators. We place a particular emphasis on obtaining results with as few assumptions as possible; as such we only use Chebyshev's inequality, and no effort is made to obtain the best rates or constants.

연구 동기 및 목표

• 무한차원 출력 공간과 비콤팩트 입력 영역으로의 정규화된 최소 제곱 회귀 이론을 확장한다.
• 특히 출력의 유한한 두 번째 순서 모멘트만 요구하는 최소한의 조건 하에서, 벡터값 RKHS 회귀의 보편 일치성을 확립한다.
• 입력 공간의 유계성이나 콤팩트성과 같은 강한 가정을 피하고, 일치성에 필요한 최소 조건에 집중한다.
• 진짜 회귀 함수가 RKHS에 속해 있는 잘 지정된 경우에 대해 균일 수렴 속도를 제공한다.
• 무한차원 출력 공간을 다룰 분석에서 비콤팩트 연산자의 스펙트럼 이론을 활용한다.

제안 방법

• 비콤팩트 연산자의 스펙트럼 이론에 기반한 적분 연산자 기법을 사용하여 정규화된 회귀 문제를 분석한다.
• 출력이 힐베르트 공간으로 가는 함수를 모델링하기 위해, 연산자 값을 갖는 커널을 사용하는 벡터값 재생 쿼드리틱 힐베르트 공간(vvRKHS) 프레임워크를 적용한다.
• 최적의 속도나 상수를 최적화하지 않고도 확률적 수렴을 도출하기 위해 체비셰프 부등식을 적용한다.
• empirical risk에 힐베르트 노름 펜alties를 더한 티호노프 유형 기능을 통해 정규화된 해를 정의한다.
• 추정 오차를 근사 오차와 추정 오차 성분으로 분해하여 추정 오차에 대한 경계를 설정한다.
• RKHS 노름과 함수의 L²(P_X)-노름을 연결하기 위해 임bedding 연산자 ι: H → L²(X, P_X; Y)를 정의한다.

실험 결과

연구 질문

• RQ1 출력 공간이 무한차원이고 입력 공간이 비콤팩트일 때, vvRKHS에서 정규화된 최소 제곱 회귀의 보편 일치성이 확립될 수 있는가?
• RQ2 추정기의 진짜 조건부 기대값으로의 확률적 수렴을 보장하기 위해 필요한 최소한의 가정은 무엇인가?
• RQ3 진짜 함수가 RKHS에 속해 있는 잘 지정된 경우에 추정 오차는 어떻게 행동하는가?
• RQ4 출력 분산이 유계이고 진짜 함수의 RKHS 노름이 유계이도록 하는 확률 측도의 클래스에 대해 균일 수렴 속도를 유도할 수 있는가?
• RQ5 비콤파크트 연산자의 스펙트럼 이론은 무한차원 출력을 갖는 커널 방법의 수렴 분석에서 어떤 역할을 하는가?

주요 결과

• 출력의 두 번째 순서 모멘트가 유한함을 유일한 가정으로 하면 보편 일치성이 성립한다: E[||Y||²_Y] < ∞.
• 정규화 파rameter λ_n이 O(n⁻¹/²)보다 느리게 0으로 수렴할 경우, 표본 크기가 증가함에 따라 추정기는 확률적으로 진짜 조건부 기대값 f*로 수렴한다.
• 잘 지정된 경우, 즉 f* = ιf*ₕ를 만족하는 f*ₕ ∈ H가 존재하고 ||f*ₕ||_H ≤ C일 때, λ_n = O(n⁻¹/⁴)이면 수렴 속도는 O_P(n⁻¹/⁴)이다.
• 균일한 고확률 경계가 확립된다: 모든 P ∈ P(M,C)에 대해 P(||ιf̂_n,λ − f*||²₂ ≥ 2B²M/(nλ²δ) + 2λC) ≤ δ이다. 여기서 M은 E[||Y||²_Y]를 유계로 제한하고, C는 ||f*ₕ||_H를 유계로 제한한다.
• 유계성 또는 입력 공간의 콤팩트성과 같은 강한 가정을 피하고, 보흐너 적분 가능성과 스펙트럼 이론에 의존한다.
• 핵심 기술 도구는 커널과 관련된 적분 연산자의 스펙트럼 분해를 사용하는 것으로, 이 연산자가 비콤파크트일지라도 가능하다.