[논문 리뷰] Non-parametric Models for Non-negative Functions

Ulysse Marteau-Ferey, Francis Bach외 1명|arXiv (Cornell University)|2020. 07. 08.

Sparse and Compressive Sensing Techniques참고 문헌 8인용 수 12

한 줄 요약

이 논문은 선형 모델의 볼록성, 미분 가능성, 적분 가능성 성질을 유지하는 비모수적 모델을 제안한다. 반복자 정리와 볼록 쌍대 형식을 활용하여 효율적인 최적화와 보편 근사가 가능하며, 밀도 추정, 이종분산 회귀, 분위수 회귀 과제에서 일반화선형모형과 이전 방법들을 능가한다.

ABSTRACT

Linear models have shown great effectiveness and flexibility in many fields such as machine learning, signal processing and statistics. They can represent rich spaces of functions while preserving the convexity of the optimization problems where they are used, and are simple to evaluate, differentiate and integrate. However, for modeling non-negative functions, which are crucial for unsupervised learning, density estimation, or non-parametric Bayesian methods, linear models are not applicable directly. Moreover, current state-of-the-art models like generalized linear models either lead to non-convex optimization problems, or cannot be easily integrated. In this paper we provide the first model for non-negative functions which benefits from the same good properties of linear models. In particular, we prove that it admits a representer theorem and provide an efficient dual formulation for convex problems. We study its representation power, showing that the resulting space of functions is strictly richer than that of generalized linear models. Finally we extend the model and the theoretical results to functions with outputs in convex cones. The paper is complemented by an experimental evaluation of the model showing its effectiveness in terms of formulation, algorithmic derivation and practical results on the problems of density estimation, regression with heteroscedastic errors, and multiple quantile regression.

연구 동기 및 목표

• 선형 모델의 유리한 성질인 볼록성, 미분 가능성, 적분 가능성 등을 유지하는 비모수적 비음수 함수 모델을 개발한다.
• 일반화선형모형의 한계를 해결한다. 비음수 함수 학습에서 비볼록 최적화 또는 적분 가능성 부족 문제가 자주 발생한다.
• 비음수 함수를 위한 보편 근사자이며, 기존 일반화선형모형보다 엄밀히 더 풍부한 표현 능력을 갖춘다.
• 출력이 볼록 코너에 속하는 함수로의 프레임워크를 확장하여 제약 조건이 있는 출력 문제에 대한 적용 범위를 넓힌다.
• 밀도 추정, 이종분산 회귀, 다중 분위수 회귀에서 모델의 실증적 타당성을 검증하여 뛰어난 성능을 입증한다.

제안 방법

• 특징 매핑과 대칭 정반정행렬 A를 통한 모델 정의를 제안한다. f(x) = φ(x)⊤ A φ(x)로 표현되며, A의 정반정성으로 인해 비음수성을 보장한다.
• 최적 해 A*가 데이터 유도 커널 행렬의 스칼라 결합으로 이루어짐을 보여주는 반복자 정리를 도출한다. 이는 유한차원 최적화를 가능하게 한다.
• 학습 데이터에만 의존하는 볼록 쌍대 형식을 개발한다. 이로써 점별 비음수 제약 조건이 계수 공간에 자연스럽게 통합된다.
• 비양수 부분 연산자 [·]+을 사용하여 해를 특성화함으로써, 보편 근사성과 비음수 계수 모델보다 향상된 표현 능력을 확보한다.
• 볼록 손실을 사용한 경험 위험 최소화에 모델을 적용한다. 이로써 볼록성 유지와 표준 볼록 최적화 솔버를 통한 효율적 최적화가 가능하다.
• 출력이 임의의 볼록 코너에 속하는 함수로의 확장을 위해 연산자 제약 조건을 일반화한다.

실험 결과

연구 질문

• RQ1 비음수 함수를 위한 비모수적 모델을 구성할 수 있는가? 이 모델은 선형 모델의 볼록성, 미분 가능성, 적분 가능성 성질을 유지하는가?
• RQ2 제안된 모델은 반복자 정리와 유한차원 쌍대 형식을 갖는가? 이를 통해 볼록 최적화가 가능한가?
• RQ3 제안된 모델은 보편 근사자이며, 비음수 계수를 갖는 일반화선형모형보다 엄밀히 더 표현력이 뛰어나지 않는가?
• RQ4 밀도 추정, 이종분산 회귀, 다중 분위수 회귀 과제에서 제안된 모델은 기존 기법들보다 실질적으로 얼마나 잘 성능을 내는가?
• RQ5 이전 접근법의 이론적 한계는 무엇인가? 예를 들어, Bagnell 등(2015)의 잘못된 특성 기술은 무엇이며, 제안된 모델은 이를 어떻게 해결하는가?

주요 결과

• 제안된 모델는 반복자 정리를 만족하고, 유한차원 볼록 쌍대 형식을 갖는다. 이는 점별 비음수 제약 조건이 계수 공간에 자연스럽게 포함된 채로 효율적 최적화를 가능하게 한다.
• 모델는 보편 근사자이며, Bagnell 등(2015)과의 이론적 비교를 통해 비음수 계수를 갖는 일반화선형모형보다 엄밀히 더 높은 표현 능력을 지닌다.
• 모델의 라데마처 복잡도는 표준 커널 기반 선형 모델과 유사하여 강력한 일반화 잠재력을 나타낸다.
• 밀도 추정 과제에서 모델은 NCM와 GLM을 능가하며, 특히 기준 측도의 샘플링이 열악한 고차원 설정에서 GLM이 실패하는 경우에 뛰어난 성능을 보인다.
• 이종분산 오차가 있는 회귀와 다중 분위수 회귀 문제를 성공적으로 처리하며, 다양한 시뮬레이션 설정에서 강인한 성능을 보였다.
• 논문은 Bagnell 등(2015)의 근본적인 오류를 규명하고 수정한다. 그들의 해법은 비음수 계수 모델에 국한되어 있어 보편성에 결함이 있으며, 제안된 프레임워크는 이를 극복한다.