[論文レビュー] Non-parametric Models for Non-negative Functions

Ulysse Marteau-Ferey, Francis Bach+1 more|arXiv (Cornell University)|Jul 8, 2020

Sparse and Compressive Sensing Techniques参考文献 8被引用数 12

ひとこと要約

この論文は、線形モデルの凸性、微分可能性、可積分性の性質を保ちながら、非負関数を学習するための新しい非パラメトリックモデルを提案する。レプレスエンターティング定理と凸双対定式化を活用することで、効率的な最適化と普遍近似が可能となり、密度推定、不等分散回帰、分位数回帰のタスクにおいて、一般化線形モデルや先行手法を凌駆する性能を発揮する。

ABSTRACT

Linear models have shown great effectiveness and flexibility in many fields such as machine learning, signal processing and statistics. They can represent rich spaces of functions while preserving the convexity of the optimization problems where they are used, and are simple to evaluate, differentiate and integrate. However, for modeling non-negative functions, which are crucial for unsupervised learning, density estimation, or non-parametric Bayesian methods, linear models are not applicable directly. Moreover, current state-of-the-art models like generalized linear models either lead to non-convex optimization problems, or cannot be easily integrated. In this paper we provide the first model for non-negative functions which benefits from the same good properties of linear models. In particular, we prove that it admits a representer theorem and provide an efficient dual formulation for convex problems. We study its representation power, showing that the resulting space of functions is strictly richer than that of generalized linear models. Finally we extend the model and the theoretical results to functions with outputs in convex cones. The paper is complemented by an experimental evaluation of the model showing its effectiveness in terms of formulation, algorithmic derivation and practical results on the problems of density estimation, regression with heteroscedastic errors, and multiple quantile regression.

研究の動機と目的

• 線形モデルの利点である凸性、微分可能性、可積分性を保ちつつ、非負関数のための非パラメトリックモデルを開発すること。
• 一般化線形モデルの限界、特に非負関数学習において非凸最適化や可積分性の欠如を解消すること。
• 非負係数を持つ既存の一般化線形モデルよりも厳密に豊かな表現力を持つ、非負関数の普遍近似器を提供すること。
• 出力が凸錐に制約される関数へのフレームワークの拡張により、制約付き出力問題への応用範囲を広げること。
• 密度推定、不等分散回帰、複数の分位数回帰において、実験的にモデルの性能を検証し、優れた性能を示すこと。

提案手法

• 特徴マップと対称的で正定値半定値演算子 A を用いて定義されるモデルを提案。f(x) = φ(x)⊤ A φ(x) とすることで、A の正定値半定値性により非負性が保証される。
• 最適解 A* がデータに由来するカーネル行列の張る空間に存在することを示すレプレスエンターティング定理を導出。これにより、有限次元最適化が可能になる。
• 訓練データにのみ依存する凸双対定式化を構築。点ごとの非負性制約が係数空間に自然に組み込まれた凸制約に変換される。
• 非正部分演算子 [·]+ を用いて解を特徴づけ、非負係数モデルよりも優れた表現力と普遍近似性を実現する。
• 凸損失関数を用いた経験的リスク最小化にモデルを適用。凸性が保たれ、標準的な凸最適化ソルバを用いて効率的な最適化が可能になる。
• 出力が任意の凸錐に属する関数への拡張を図る。これにより、演算子制約を適切に一般化する。

実験結果

リサーチクエスチョン

• RQ1 線形モデルの凸性、微分可能性、可積分性を保ちつつ、非負関数のための非パラメトリックモデルを構築可能か？
• RQ2 提案モデルはレプレスエンターティング定理と有限次元双対定式化を備え、凸最適化が可能か？
• RQ3 提案モデルは普遍近似器であり、非負係数を持つ一般化線形モデルよりも厳密に表現力が優れているか？
• RQ4 密度推定、不等分散回帰、複数の分位数回帰において、標準的手法と比較して実用的性能はいかが？
• RQ5 先行研究（Bagnell et al., 2015）における根本的な欠陥（誤った特徴付け）の理論的限界は何か？提案モデルはそれらをどのように克服するか？

主な発見

• 提案モデルはレプレスエンターティング定理を満たし、凸的で有限次元の双対定式化を備えており、点ごとの非負性制約が係数空間に自然に組み込まれた効率的最適化が可能である。
• 理論的比較により、Bagnell et al. (2015) と比較して、非負係数を持つ一般化線形モデルよりも厳密に表現力が優れていることが示され、普遍近似器であることが確認された。
• モデルのラデマッハ複雑度は、標準的なカーネルベースの線形モデルと同等であり、優れた一般化性能を示す可能性を示している。
• 密度推定において、NCM や GLM よりも優れた性能を発揮し、特に参考測度のサンプリングが不十分な高次元設定で GLM が失敗する状況でも優位性を示した。
• 不等分散誤差を伴う回帰および複数の分位数回帰においても、多様なシミュレーション設定で安定した性能を示した。
• 論文は Bagnell et al. (2015) における根本的欠陥を特定・是正し、彼らの解法が非負係数モデルに限定されており、普遍性に欠けるのに対し、提案フレームワークはそれらを克服していることを示した。