[論文レビュー] Optimizing Black-box Metrics with Adaptive Surrogates

Qijia Jiang, Olaoluwa Adigun+3 more|arXiv (Cornell University)|Feb 20, 2020

Machine Learning and Algorithms参考文献 31被引用数 4

ひとこと要約

本稿では、F-measure や Precision@K などのブラックボックス機械学習評価指標を最適化する手法を提案する。この手法は、これらの指標を微分可能な補助損失の小さな集合の単調関数としてモデル化することで、有限差分および局所線形補間を用いて補助空間における勾配を推定する。このアプローチでは不正確な投影勾配降下法を実行し、滑らかさの仮定のもとで収束を示し、指標の数学的形が未知であっても、既知の指標手法と同等の性能を達成する。

ABSTRACT

We address the problem of training models with black-box and hard-to-optimize metrics by expressing the metric as a monotonic function of a small number of easy-to-optimize surrogates. We pose the training problem as an optimization over a relaxed surrogate space, which we solve by estimating local gradients for the metric and performing inexact convex projections. We analyze gradient estimates based on finite differences and local linear interpolations, and show convergence of our approach under smoothness assumptions with respect to the surrogates. Experimental results on classification and ranking problems verify the proposal performs on par with methods that know the mathematical formulation, and adds notable value when the form of the metric is unknown.

研究の動機と目的

• 閉形式の勾配が得られない非分解的で最適化が難しい機械学習評価指標を最適化する課題に対処すること。
• モデルの訓練をブラックボックス指標で可能にするために、それらを容易に最適化可能な補助損失の少数の関数として単調関数として表現すること。
• 指標の数学的形を必要とせず、真のラベルを含む小さな検証データセットを用いて、勾配ベースの最適化フレームワークを構築すること。
• 未知の指標関数に対して滑らかさの仮定が成り立つ場合、最適化が停留点に収束することを保証すること。
• 実験的に、指標が事前に分かっているメトリックに特化したベースラインと同等の性能を示し、指標が真に未知の場合に顕著な性能向上を達成できることを検証すること。

提案手法

• 最適化問題を、モデルパラメータ数 d よりもはるかに小さい次元 K の補助空間で定式化する。ここで K << d である。
• ブラックボックス指標 M を、K 個の補助損失 ℓ(θ) の未知の単調関数 ψ: ℝ₊ᴷ → ℝ としてモデル化する。
• モデルパラメータの摂動を用いた有限差分および局所線形補間を用いて、ψ の補助変数に関する勾配を推定する。
• 不正確な投影を用いた補助空間における投影勾配降下法を実行する。不正確な投影は、元のパrameter空間における凸部分問題を解くことで計算される。
• 適応的ステップサイズと摂動に基づく勾配推定を用い、ψ に滑らかさの仮定がある場合に収束保証を得る。
• 分類、順序付け、代理ラベル問題にこのアプローチを適用し、真のラベルを含む小さな検証データセットを用いて指標推定を支援する。

実験結果

リサーチクエスチョン

• RQ1 指標の数学的形が未知または微分不能である場合、機械学習におけるブラックボックス指標を最適化できるか？
• RQ2 解析的導関数へのアクセスがなければ、ブラックボックス指標の勾配を効果的に推定できるか？
• RQ3 補助損失に基づく勾配推定を用いて、ブラックボックス指標の最適化で停留点に収束できるか？
• RQ4 指標の形が分かっている場合に、提案手法はメトリックに特化したトレーニングアプローチと同等に性能を発揮できるか？
• RQ5 真の指標がブラックボックスであり、事前の定式化が存在しない状況で、この手法が顕著な性能向上をもたらすか？

主な発見

• 指標の数学的形が未知であっても、F-measure タスクにおいてテスト G-mean が 0.803 に達し、最良のベースライン手法と同等の性能を示した。
• わずか 10 個の摂動で、Business データセットにおいてマクロ F-measure が 0.796 を達成し、1000 個の摂動で得られた 0.796 に非常に近い結果を得た。
• KDD Cup 2008 の順序付けタスクでは、ミニバッチサイズ 100 および固定された σ = 1.5 を用い、実行間で安定した性能を示した。
• 局所線形補間による勾配推定誤差は、K の増加に伴い僅かな依存性を示し、K が 2 から 10 に増加しても平均二乗誤差がゆっくりと増加した。
• 訓練ラベルがノイズを含み、真の指標が未知である代理ラベル学習の状況では、ベースラインを上回る性能を示した。
• 理論的分析により、補助損失から指標への写像 ψ に滑らかさの仮定がある場合、停留点に収束することが示された。