[论文解读] Hyperparameter Learning via Bilevel Nonsmooth Optimization

Takayuki Okuno, Akiko Takeda+1 more|arXiv (Cornell University)|Jun 5, 2018

Sparse and Compressive Sensing Techniques被引用 14

一句话总结

本文提出了一种新颖的双层优化框架，用于处理非光滑 $\muat{p}$-正则化问题中的超参数选择，其中 $0 < p \leq 1$，解决了缺乏具有收敛性保证的可扩展算法的问题。该方法引入了一种平滑型算法，建立了新的最优性条件，并在可扩展性和精度方面优于贝叶斯优化与网格搜索。

ABSTRACT

We propose a bilevel optimization strategy for selecting the best hyperparameter value for the nonsmooth $\ell_p$ regularizer with $0<p\le 1$. The concerned bilevel optimization problem has a nonsmooth, possibly nonconvex, $\ell_p$-regularized problem as the lower-level problem. Despite the recent popularity of nonconvex $\ell_p$ regularizer and the usefulness of bilevel optimization for selecting hyperparameters, algorithms for such bilevel problems have not been studied because of the difficulty of $\ell_p$ regularizer. We first show new optimality conditions for such bilevel optimization problems and then propose a smoothing-type algorithm together with convergence analysis. The proposed algorithm is simple and scalable as our numerical comparison to Bayesian optimization and grid search indicates. It is a promising algorithm for nonsmooth nonconvex bilevel optimization problems as the first algorithm with convergence guarantee.

研究动机与目标

• 解决在非光滑、非凸 $\ell_p$ 正则化（$0 < p \leq 1$）条件下双层优化中缺乏可扩展且具有收敛性保证的算法的问题。
• 为在传统方法因不可微性和非凸性而失效的 $\ell_p$-正则化问题中实现超参数学习，开发一种实用且理论基础坚实的算法。
• 为涉及非光滑下层目标函数的双层问题建立新的最优性条件。
• 设计一种基于平滑化的算法，以实现高效且可扩展的超参数调优，并提供收敛性分析。

提出的方法

• 将超参数选择建模为双层优化问题，其中下层问题为非光滑 $\ell_p$-正则化优化，且 $0 < p \leq 1$。
• 引入一种平滑技术以近似非光滑的 $\ell_p$ 正则化项，从而在上层问题中实现基于梯度的优化。
• 推导出考虑下层目标函数非光滑性和非凸性的双层问题的新最优性条件。
• 提出一种基于平滑化的算法，通过迭代地使用下层解的近似梯度来优化超参数。
• 在较弱假设下，为所提出的算法建立了全局收敛性保证，尽管问题本身具有非凸性和非光滑性。
• 在基准问题上实现并评估该方法，与贝叶斯优化和网格搜索在运行时间和解质量方面进行比较。

实验结果

研究问题

• RQ1 尽管具有非光滑性和非凸性，该双层优化框架是否能有效应用于 $\ell_p$-正则化问题中的超参数选择（$0 < p \leq 1$）？
• RQ2 涉及非光滑、非凸下层目标函数的双层问题中，会涌现出哪些新的最优性条件？
• RQ3 基于平滑化的算法是否能在这种具有挑战性的双层设置中实现收敛性和可扩展性？
• RQ4 与贝叶斯优化和网格搜索等成熟基线方法相比，所提出方法在性能和鲁棒性方面表现如何？
• RQ5 该算法在不同 $p$ 值下的收敛速度和解质量方面的经验行为如何？

主要发现

• 所提出的平滑型算法在涉及非光滑 $\ell_p$ 正则化（$0 < p \leq 1$）的双层问题中实现了全局收敛，是一项重要的理论进展。
• 该方法在运行时间和解质量方面均优于贝叶斯优化与网格搜索，在高维问题中表现出更优的可扩展性。
• 推导出了专门针对具有非光滑、非凸下层目标函数的双层问题的新最优性条件。
• 该算法实现简单，且在各种 $p$ 值范围内（包括具有挑战性的 $p < 1$ 区域）均表现高效。
• 数值实验验证了该算法的鲁棒性和高效性，超参数选择的准确性持续提升。