[論文レビュー] The stochastic multi-gradient algorithm for multi-objective optimization and its application to supervised machine learning

Suyun Liu, L. N. Vicente|arXiv (Cornell University)|Jul 10, 2019

Stochastic Gradient Optimization Techniques参考文献 47被引用数 8

ひとこと要約

本稿では、不確実性下での多目的最適化のための確率的多勾配（SMG）アルゴリズムを提案する。これは、矛盾する目的関数を扱う確率的勾配法の拡張である。偏りのある多勾配推定値が存在しても、単目的の確率的勾配降下法と同等の収束速度を達成し、合成的および教師あり機械学習問題（例：マルチソースロジスティック回帰）においても頑健な性能を示す。

ABSTRACT

Optimization of conflicting functions is of paramount importance in decision making, and real world applications frequently involve data that is uncertain or unknown, resulting in multi-objective optimization (MOO) problems of stochastic type. We study the stochastic multi-gradient (SMG) method, seen as an extension of the classical stochastic gradient method for single-objective optimization. At each iteration of the SMG method, a stochastic multi-gradient direction is calculated by solving a quadratic subproblem, and it is shown that this direction is biased even when all individual gradient estimators are unbiased. We establish rates to compute a point in the Pareto front, of order similar to what is known for stochastic gradient in both convex and strongly convex cases. The analysis handles the bias in the multi-gradient and the unknown a priori weights of the limiting Pareto point. The SMG method is framed into a Pareto-front type algorithm for the computation of the entire Pareto front. The Pareto-front SMG algorithm is capable of robustly determining Pareto fronts for a number of synthetic test problems. One can apply it to any stochastic MOO problem arising from supervised machine learning, and we report results for logistic binary classification where multiple objectives correspond to distinct-sources data groups.

研究の動機と目的

• 目的関数が矛盾し、データが確率的または不確実な状況における多目的最適化問題に取り組む。
• 個々の勾配推定が不偏であっても、多勾配方向におけるバイアスを考慮しつつ、確率的勾配法を多目的設定に拡張する。
• スチューデントの最適解集合（Paretoフロント）全体を近似可能なParetoフロント型アルゴリズムを構築する。
• 偏った勾配推定器が存在する状況でも、凸および強凸設定においてSMG法の収束速度を確立する。
• 特に異種のデータソースを有する分類タスクを想定し、教師あり機械学習に応用することで、複数のデータグループ間での性能バランスを最適化する。

提案手法

• SMG法は、各反復で二次的サブプロブレムを解くことで、確率的多勾配方向を計算する。このサブプロブレムは個々の確率的勾配を集約する。
• 個々の勾配推定が不偏であっても、サブプロブレムを通じたバイアス伝播を分析することで、多勾配方向のバイアスに対処する。
• 収束解析には、適応的重みを用いた重み付き和スカラライゼーション手法を採用し、Paretoフロント上のある点への収束を保証する。
• 重みを変化させながら解の系列を追跡することで、Paretoフロント全体を反復的に近似するParetoフロント型SMGアルゴリズムを提案する。
• 収束と分散のバランスを図るため、ステップサイズを $\alpha_k = \bar{\alpha}/\sqrt{k}$ の形で採用する。
• 理論的収束速度は、期待されるサブ最適性バッファを用いて導出され、凸および強凸両ケースで $O(1/\sqrt{k})$ の収束を示す。

実験結果

リサーチクエスチョン

• RQ1 矛盾する目的関数とノイズの多いデータを伴う多目的最適化に、確率的勾配法を効果的に拡張できるか？
• RQ2 多勾配方向のバイアスは収束にどのように影響するか？ また、収束速度を依然として確立できるか？
• RQ3 凸および強凸な確率的多目的最適化問題において、SMG法が達成できる収束速度は何か？
• RQ4 SMG法は多様なテスト問題において、Paretoフロント全体を頑健に近似できるか？
• RQ5 異種のデータソースを持つ実世界の教師あり機械学習タスクにおいて、SMG法はどのように性能を発揮するか？

主な発見

• SMG法は、凸および強凸両設定において、Paretoフロントへの収束速度が $O(1/\sqrt{k})$ に達し、単目的の確率的勾配降下法と同等の既知の収束速度を達成する。
• 個々の勾配推定が不偏であっても、多勾配方向はバイアスを有するが、解析がこのバイアスを収束保証に明示的に組み込んでいる。
• Paretoフロント型SMGアルゴリズムは、合成テスト問題においてParetoフロント全体を効果的に近似し、真のフロントへの収束と頑健性を示した。
• 本手法は教師あり機械学習に適用可能であり、複数のデータグループを有するロジスティック回帰における実験的結果から、性能のトレードオフ最適化が有効に実現された。
• 理論的解析により、期待されるサブ最適性ギャップが $O(1/\sqrt{k})$ に減少することが確認され、初期反復点から最適解までの距離および勾配の分散を含む明示的バインドが得られた。
• スプレッドおよびピュアリティ指標から、SMGアルゴリズムは均等に分布し、正確なParetoフロントを生成しており、計算されたフロントのピュアリティは高く、ホールサイズは小さいことが示された。