[논문 리뷰] A Machine Learning Approach to Optimal Tikhonov Regularisation I: Affine Manifolds

Ernesto De Vito, Massimo Fornasier외 1명|arXiv (Cornell University)|2016. 10. 06.

Numerical methods in inverse problems참고 문헌 7인용 수 3

한 줄 요약

이 논문은 해가 약간의 평행 이탈 다차원 공간에 존재하고 잡음이 하위가우시안일 것이라는 가정 하에, 역문제에 대한 최적의 티콘وف 정규화 매개변수를 결정하기 위한 지도 학습 접근법을 제안한다. 이는 학습 예제의 수가 해의 부분공간 차원 수에 비례하여 증가함을 증명하고, 학습된 매개변수와 그에 해당하는 해에 대한 명시적인 오차 한계를 제공한다.

ABSTRACT

Despite a variety of available techniques the issue of the proper regularization parameter choice for inverse problems still remains one of the biggest challenges. The main difficulty lies in constructing a rule, allowing to compute the parameter from given noisy data without relying either on a priori knowledge of the solution or on the noise level. In this paper we propose a novel method based on supervised machine learning to approximate the high-dimensional function, mapping noisy data into a good approximation to the optimal Tikhonov regularization parameter. Our assumptions are that solutions of the inverse problem are statistically distributed in a concentrated manner on (lower-dimensional) linear subspaces and the noise is sub-gaussian. One of the surprising facts is that the number of previously observed examples for the supervised learning of the optimal parameter mapping scales at most linearly with the dimension of the solution subspace. We also provide explicit error bounds on the accuracy of the approximated parameter and the corresponding regularization solution. Even though the results are more of theoretical nature, we present a recipe for the practical implementation of the approach and provide numerical experiments confirming the theoretical results. We also outline interesting directions for future research with some preliminary results, confirming their feasibility.

연구 동기 및 목표

• 진정한 해나 잡음 수준에 대한 사전 지식 없이도 최적의 티콘옵 정규화 매개변수를 선택하는 데 지속적으로 도전하는 문제를 해결한다.
• 높은 차원의 매핑을 데이터 기반으로 근사하기 위한 방법을 개발하여, 노이즈가 있는 데이터에서 최적의 정규화 매개변수로의 변환을 모델링한다.
• 해의 분포와 잡음에 대한 통계적 가정 하에, 학습된 매개변수의 샘플 복잡도와 정확도에 대한 이론적 보장을 수립한다.
• 계산 복잡도 분석과 이론적 주장의 수치적 검증을 포함한 실용적인 구현 요령을 제공한다.

제안 방법

• 역문제를 선형 시스템 $ Y = AX + \eta $ 로 모델링하며, 여기서 $ X \in \mathbb{R}^d $ 는 해이고 $ \eta $ 는 하위가우시안 잡음이다.
• 해가 낮은 차원의 약간의 평행 이탈 다차원 공간에 집중되어 있음을 가정하여, 차원 축소와 통계적 학습을 가능하게 한다.
• 이전에 관측된 데이터-해 쌍을 사용하여, 노이즈가 있는 데이터 $ Y \in \mathbb{R}^m $ 에서 최적의 티콘옵 매개변수 $ \alpha^* $ 로 매핑하는 지도 학습 모델을 훈련한다.
• 집중 불등식과 하위가우시안 尾 꼬리 한계를 사용하여, 학습된 매개변수와 그에 따른 정규화된 해에 대한 확률적 오차 한계를 유도한다.
• 필요한 학습 예제의 수가 해의 부분공간 차원 수에 대해 최대 선형적으로 증가함을 증명한다.
• 잡음의 하위가우시안 노름과 샘플 수에 따라 의존하는, 학습된 해와 진짜 해 사이의 $ \ell^2 $-오차에 대한 명시적 상한을 유도한다.

실험 결과

연구 질문

• RQ1 진짜 해나 잡음 수준에 접근할 수 없을 때, 기계 학습 모델이 최적의 티콘옵 정규화 매개변수를 효과적으로 근사할 수 있는가?
• RQ2 필요한 학습 예제의 수는 해의 다양체의 내재 차원에 따라 어떻게 변화하는가?
• RQ3 학습된 정규화 매개변수와 그에 해당하는 정규화된 해에 대한 이론적 오차 한계는 무엇인가?
• RQ4 제안된 방법은 하위가우시안 잡음과 약간의 평행 이탈 다차원 공간에 해가 집중되어 있을 경우 신뢰할 수 있는 성능을 보일 수 있는가?
• RQ5 제안된 학습 기반의 매개변수 선택의 계산 복잡도는 무엇이며, 기존의 사후 규칙과 비교해 볼 때 어떻게 되는가?

주요 결과

• 최적의 정규화 매개변수를 위한 지도 학습을 수행하기 위해 필요한 학습 예제의 수는 해의 부분공간 차원 수에 대해 최대 선형적으로 증가한다.
• 학습된 정규화 매개변수는 $ \ell^2 $-오차 한계를 $ \mathcal{O}(\|\eta\|_{\psi_2} \sqrt{d/n}) $ 의 순서로 갖는다. 여기서 $ d $ 는 부분공간 차원이고 $ n $ 은 학습 샘플 수이다.
• 하위가우시안 잡음과 해의 집중을 가정할 경우, 학습된 매개변수를 사용한 정규화된 해는 높은 확률로 진짜 해로 수렴한다.
• 잡음의 하위가우시안 노름과 샘플 수에 따라 의존하는, 정규화 매개변수와 해에 대한 명시적 오차 한계가 유도되었다.
• 수치 실험은 이론적 예측을 확인하였으며, 기존의 표준 매개변수 선택 규칙과 비교해 학습 기반 방법이 양호한 성능을 보였다.
• 이 방법은 계산적으로 실현 가능하며, 고차원 설정에서의 사용을 뒷받침하는 복잡도 분석을 포함한 실용적인 구현 요령을 제공한다.