[논문 리뷰] Optimal Estimation of Brownian Penalized Regression Coefficients

Paramahansa Pramanik, Alan M. Polansky|arXiv (Cornell University)|2021. 07. 05.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 시간에 따라 변화하는 회귀 계수의 최적 추정을 위한 새로운 경로 적분 기반 프레임워크를 제안한다. 여기서 계수들은 브라운 운동을 통해 진화하고, 확률적 미분 방정식을 통해 정규화된다. 양자 라그랑지안을 설정하고 슈뢰딩거 유사 방정식을 유도함으로써, LASSO, 융합 LASSO, 세제곱 스플라인 등 다양한 정규화 체계 하에서 계수의 닫힌 형태 해를 도출할 수 있다. 이는 일阶 최적성 조건을 통해 이루어진다.

ABSTRACT

In this paper we introduce a new methodology to determine an optimal coefficient of penalized functional regression. We assume the dependent, independent variables and the regression coefficients are functions of time and error dynamics follow a stochastic differential equation. First we construct our objective function as a time dependent residual sum of square and then minimize it with respect to regression coefficients subject to different error dynamics such as LASSO, group LASSO, fused LASSO and cubic smoothing spline. Then we use Feynman-type path integral approach to determine a Schrödinger-type equation which have the entire information of the system. Using first order conditions with respect to these coefficients give us a closed form solution of them.

연구 동기 및 목표

• 예측 변수와 계수 둘 다 시간의 함수인 경우 시간에 따라 변화하는 회귀 계수를 추정하기 위한 동적이고 시간에 의존하는 프레임워크를 개발한다.
• 전통적인 정규화 회귀의 한계를 해결하기 위해 계수 진동을 위한 확률적 미분 방정식(SDE) 역학을 통합한다.
• 정적 또는 결정론적 계수 모델을 초월하여 브라운 운동을 정규화 구조에 통합함으로써 기존 방법을 확장한다.
• 파이먼 유사 경로 적분 접근법을 사용하여 다양한 정규화 유형에서 회귀 계수의 닫힌 형태 해를 도출한다.
• 고전적 최적화를 일반화하고 폰트리아긴의 최대 원리의 한계를 극복하는 양자 영감을 받은 프레임워크를 수립한다.

제안 방법

• 시간에 따라 변화하는 계수를 갖는 기능적 회귀에 대해 목표 함수로 시간에 의존하는 잔차 제곱합(RSS)을 설정한다.
• 계수와 공변량에 의존하는 도함수 및 산란 성분을 갖는 확률적 미분 방정식(SDE)을 사용하여 오차 과정을 모델링한다.
• 작은 시간 간격에서 양성 정규화 매개변수를 사용하여 양자 라그랑지안을 구성하고, 시스템 동역학을 코딩하기 위해 파이먼 유사 경로 적분을 적용한다.
• 경로 적분에서 슈뢰딩거 유사 방정식을 도출하여 시스템의 전체 확률적 및 동적 행동을 포괄한다.
• 슈뢰딩거 방정식에 일阶 조건을 적용하여 최적의 회귀 계수에 대한 닫힌 형태의 표현식을 도출한다.
• 위크 회전과 점근 전개를 사용하여 슈뢰딩거 방정식을 단순화하고 각 계수의 최적성 조건을 도출한다.

실험 결과

연구 질문

• RQ1 계수의 진동이 확률적 미분 방정식을 따를 경우, 시간에 따라 변화하는 회귀 계수를 어떻게 최적으로 추정할 수 있는가?
• RQ2 표준 정규화를 초월하여 브라운 운동은 기능적 회귀 계수의 정규화에 어떤 역할을 하는가?
• RQ3 경로 적분 공식화는 LASSO, 융합 LASSO 및 스플라인 정규화 하에서 동적 환경에서 회귀 계수의 닫힌 형태 해를 도출할 수 있는가?
• RQ4 파이먼 경로 적분 접근법은 비가역 정규화를 갖는 기능적 회귀에서 고전적 최적화를 어떻게 일반화하는가?
• RQ5 이 정규화된 회귀 프레임워크에서 경로 적분의 존재성과 수렴성을 보장하는 조건은 무엇인가?

주요 결과

• 레마 1과 2에서 증명된 바와 같이, 도함수 및 산란 계수에 대한 약한 정규성 조건 하에서 경로 적분 공식화는 존재한다.
• 경로 적분에서 유도된 슈뢰딩거 유사 방정식은 시스템의 전체 동역학을 포괄하며 최적의 계수 추정을 가능하게 한다.
• 슈뢰딩거 방정식에 일阶 최적성 조건을 적용하여 회귀 계수의 닫힌 형태 해를 도출하였다.
• LASSO 및 관련 정규화의 경우, 비가역성 문제를 피하기 위해 비영인 계수를 가정하며, 이로 인해 해석 가능한 해를 도출할 수 있다.
• 기저 함수를 정규화에 포함하여 스플라인 기반 모델로 일반화할 수 있으며, 예제 8에서는 동적 세제곱 스무딩 스플라인을 보여준다.
• 최적의 계수 β_j'(s)는 유효 라그랑지안의 편도함수로부터 도출된 일阶 조건을 만족하며, 이를 통해 해를 구할 수 있는 방정식계를 이룬다.