[논문 리뷰] Learning linear operators: Infinite-dimensional regression as a well-behaved non-compact inverse problem

Mattes Mollenhauer, Nicole Mücke외 1명|arXiv (Cornell University)|2022. 11. 16.

Numerical methods in inverse problems인용 수 5

한 줄 요약

이 논문은 사전 조합 연산자 $ A_{C_{XX}}[\theta] = \theta C_{XX} $ 를 통해 무한차원 선형 회귀를 비콤파クト 역문제로 재구성하며, 스펙트럼 정규화 하에서 콤팩트 역문제와의 스펙트럼 동치성을 증명한다. 콤팩트 역문제와의 스펙트럼 동치성과 측도 집중 기법을 활용해 힐베르트 공간에서의 학습 연산자에 대해 하오더 타입의 소스 조건 하에서 치수에 영향을 받지 않는 수렴 속도를 확립하며, 기존의 스칼라-반응 회귀의 수렴 속도를 재현한다.

ABSTRACT

We consider the problem of learning a linear operator $θ$ between two Hilbert spaces from empirical observations, which we interpret as least squares regression in infinite dimensions. We show that this goal can be reformulated as an inverse problem for $θ$ with the feature that its forward operator is generally non-compact (even if $θ$ is assumed to be compact or of $p$-Schatten class). However, we prove that, in terms of spectral properties and regularisation theory, this inverse problem is equivalent to the known compact inverse problem associated with scalar response regression. Our framework allows for the elegant derivation of dimension-free rates for generic learning algorithms under Hölder-type source conditions. The proofs rely on the combination of techniques from kernel regression with recent results on concentration of measure for sub-exponential Hilbertian random variables. The obtained rates hold for a variety of practically-relevant scenarios in functional regression as well as nonlinear regression with operator-valued kernels and match those of classical kernel regression with scalar response.

연구 동기 및 목표

• 무한차원 힐베르트 공간 간의 선형 연산자를 경험 데이터로부터 학습하는 데 도전하는 데 목적을 두며.
• 무한차원 최소제곱 회귀 문제를 비콤파クト 전진 연산자를 포함하는 역문제로 재구성하는 데 목적을 두며.
• 이 비콤파クト 역문제가 정규화 이론에서 콤팩트 역문제와 스펙트럼 동치임을 입증하는 데 목적을 두며.
• 하오더 타입의 소스 조건 하에서 일반적인 학습 알고리즘에 대해 치수에 영향을 받지 않는 수렴 속도를 유도하는 데 목적을 두며.
• 기능적 회귀, 연산자 값 커널, 조건부 평균 임bedding의 분석을 하나의 이론적 프레임워크로 통합하는 데 목적을 두며.

제안 방법

• 사전 조합 연산자 $ A_{C_{XX}}[\theta] = \theta C_{XX} $ 를 사용하여 무한차원 회귀 문제를 역문제로 재구성하며, 여기서 $ C_{XX} $ 는 $ X $ 의 공분산 연산자이다.
• 비콤파クト 연산자 $ A_{C_{XX}} $ 의 스펙트럼이 콤팩트 연산자 $ C_{XX} $ 와 일치함을 증명하여 스펙트럼 정규화 기법을 적용할 수 있도록 한다.
• 하이버트 공간에서의 하중합수 확률 변수에 대한 측도 집중 기법을 적용하여 경험 공분산 연산자와 그 역행렬을 제어한다.
• 티코노프-필립스 정규화를 $ \alpha $ 의 정규화 매개변수와 함께 적용하며, $ \| (C_{XX} + \alpha)^{-1} C_{XX} \|_{L(\mathcal{X})} \leq 1 $ 의 유계성 조건을 활용한다.
• 하이퍼기하 및 하이퍼지수 꼬리 부등식을 활용하여 힐베르트-슈미트 노름에 대한 잔차 연산자 노름의 고확률 경계를 도출한다.
• 이 비콤파クト 역문제의 정규화 이론이 고전적 콤팩트 역문제와 동치임을 입증하여 치수에 영향을 받지 않는 수렴 속도를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비콤파クト 전진 연산자를 가진 무한차원 선형 회귀 문제를 잘 정의된 역문제로 재구성할 수 있는가?
• RQ2 사전 조합 연산자 $ A_{C_{XX}} $ 의 스펙트럼 구조는 일반적으로 콤팩트 역문제에서 사용되는 정규화 기법을 적용할 수 있도록 하는가?
• RQ3 하오더 타입의 소스 조건 하에서 무한차원 힐베르트 공간 내 선형 연산자를 학습할 경우의 수렴 속도는 무엇인가?
• RQ4 이 프레임워크를 통해 기능적 회귀 및 연산자 값 커널 회귀에서 치수에 영향을 받지 않는 속도를 달성할 수 있는가?
• RQ5 경험적 연산자 분해 문제의 해는 회귀 리스크의 진짜 최소화자와 어떻게 관련이 있는가?

주요 결과

• 비콤파クト 사전 조합 연산자 $ A_{C_{XX}} $ 의 스펙트럼은 콤팩트 공분산 연산자 $ C_{XX} $ 와 정확히 일치하므로 스펙트럼 정규화가 가능하다.
• 비콤파クト성에도 불구하고 스펙트럼 동치성 덕분에 이 역문제가 콤팩트 연산자 문제와 마찬가지로 정규화 가능하다.
• 하오더 타입의 소스 조건 하에서 일반적인 학습 알고리즘에 대해 치수에 영향을 받지 않는 수렴 속도를 도출하였으며, 이는 고전적 커널 회귀 수렴 속도와 일치한다.
• 확률 $ 1 - \delta $ 에서 잔차 연산자 노름이 다음을 만족한다: $ \| (\theta_* \widehat{C}_{XX} - \widehat{C}_{YX})(C_{XX} + \alpha)^{-1/2} \|_{S_2} \leq \frac{16\sqrt{2}eB_{\psi_2}}{\sqrt{\alpha}} \sqrt{\frac{\log(1/\delta)}{n}} $, 여기서 $ B_{\psi_2} $ 는 연산자와 하이퍼기하 노름에 의존한다.
• 이 프레임워크는 기능적 회귀, 연산자 값 커널, 조건부 평균 임베딩에 대해 균일하게 적용 가능하며, 통합된 이론적 기반을 제공한다.
• 측도 집중 기법을 활용하여 하중합수 하이버트 공간 확률 변수에 대해 이론적 경계를 도출하였으며, 이는 약한 모멘트 가정 하에서도 강건함을 보장한다.