[论文解读] Coordinate Descent with Bandit Sampling

Farnood Salehi, Patrick Thiran+1 more|arXiv (Cornell University)|Dec 8, 2017

Advanced Bandit Algorithms Research被引用 7

一句话总结

本文提出了一种基于Bandit的坐标选择方法，用于坐标下降算法，通过估计目标函数下降的下界（边际下降）来自适应地选择最有益的坐标进行更新。利用多臂老虎机框架，该方法仅通过观察每次选择坐标所获得的反馈，学习哪些坐标能带来最大改进，而无需计算所有坐标的下界，从而在将计算成本降低d倍的同时，实现了接近最优方法的收敛速度。

ABSTRACT

Coordinate descent methods usually minimize a cost function by updating a random decision variable (corresponding to one coordinate) at a time. Ideally, we would update the decision variable that yields the largest decrease in the cost function. However, finding this coordinate would require checking all of them, which would effectively negate the improvement in computational tractability that coordinate descent is intended to afford. To address this, we propose a new adaptive method for selecting a coordinate. First, we find a lower bound on the amount the cost function decreases when a coordinate is updated. We then use a multi-armed bandit algorithm to learn which coordinates result in the largest lower bound by interleaving this learning with conventional coordinate descent updates except that the coordinate is selected proportionately to the expected decrease. We show that our approach improves the convergence of coordinate descent methods both theoretically and experimentally.

研究动机与目标

• 通过自适应选择能带来目标函数最大下降的坐标，提升坐标下降方法的收敛速度。
• 解决在每一步评估所有坐标潜在下降量的计算不可行性问题。
• 开发一种轻量级、可扩展的方法，在保持计算可行性的同时，优于均匀采样和最先进的自适应采样策略。
• 从理论和实证两方面验证：基于Bandit学习边际下降可实现接近最优的收敛速度，且计算开销更低。

提出的方法

• 针对一类通用的更新规则H，推导出单个坐标更新时目标函数下降的下界，称为边际下降。
• 使用多臂老虎机算法，通过仅观察每次选择坐标所获得的反馈，学习哪些坐标能带来最大的边际下降。
• 将Bandit学习过程与标准坐标下降更新相结合，按估计的边际下降大小成比例选择坐标。
• 提出B_max_r算法，该算法维护边际下降的估计值，并仅使用所选坐标的反馈进行更新。
• 采用参数化探索策略，通过ε和E两个参数平衡Bandit学习过程中的探索与利用。
• 该方法具有通用性，适用于多种优化问题，包括Lasso、逻辑回归和岭回归，且在原始和对偶形式下均适用。

实验结果

研究问题

• RQ1 基于Bandit的方法能否在不显式计算所有下降量的情况下，学习选择能带来最大目标函数下降的坐标？
• RQ2 所提出的基于Bandit的方法的收敛速度与最优坐标选择（max_r）及现有自适应方法相比如何？
• RQ3 探索参数ε和E对基于Bandit方法的收敛速度和计算成本有何影响？
• RQ4 当各坐标在不同迭代中的下降量差异显著时，该方法是否仍能保持快速收敛？

主要发现

• 所提出的基于Bandit的方法B_max_r的收敛速度与最优的max_r方法相当（后者需计算所有边际下降），同时将计算成本降低了d倍。
• 在实验中，B_max_r在Lasso、逻辑回归和岭回归任务中均优于均匀采样、gap_per_epoch以及最先进的自适应方法（如ada-gap）。
• 在a9a数据集上，当ε=0.5且E=2d/5时，B_max_r在更少的迭代次数内达到-5的对数子最优性差距，且每轮的时钟时间在E=2d/5后仅略有增加。
• 该方法对坐标级边际下降的高方差具有鲁棒性，即使对偶间隙在不同迭代间显著变化，也能有效适应。
• B_max_r在收敛速度上优于均匀采样和gap_per_epoch，在更少迭代次数内达到更低的子最优性差距，性能与Approx和ada-gap相当或更优。