[論文レビュー] Federated Incremental Subgradient Method for Convex Bilevel Optimization Problems

Sudkobfa Boontawee, Mootta Prangprakhon+1 more|arXiv (Cornell University)|Jan 21, 2026

Optimization and Variational Analysis被引用数 0

ひとこと要約

The paper introduces the Federated Incremental Subgradient Method (FISM) to solve convex bilevel optimization in a federated setting, proving convergence and demonstrating superior performance versus IR-IG in binary classification and a location problem.

ABSTRACT

In this letter, we consider a bilevel optimization problem in which the outer-level objective function is strongly convex, whereas the inner-level problem consists of a finite sum of convex functions. Bilevel optimization problems arise in situations where the inner-level problem does not have a unique solution. This has led to the idea of introducing an outer-level objective function to select a solution with the specific desired properties. We propose an iterative method that combines an incremental algorithm with a broadcast algorithm, both based on the principles of federated learning. Under appropriate assumptions, we establish the convergence results of the proposed algorithm. To demonstrate its performance, we present two numerical examples related to binary classification and a location problem.

研究の動機と目的

• Outer objective が強凸で、内側問題が凸関数の有限和である二重最適化をフェデレーテッド設定で扱う。
• Incremental updates と federated learning の原理を組み合わせたフェデレーテッド・インクリメンタル・サブグラADット法を開発する。
• 提案手法の収束を証明し、内レベル目的の収束速度を確立する。
• 二値分類と位置問題の数値実験を通じて有効性を示す。

提案手法

• FISM を提案する。外部レベルのサブグラッド H と複数クライアントからの局所内レベルサブグラッドを用いる。
• クライアントはプロジェクション付きサブグラッドステップと H の共有サブグラッドを含む正則化様の項で局所的なインクリメンタル更新を行う。
• 中央サーバーはクライアント更新を集約して次のグローバル反復を形成し、プライバシーを保つため H のサブグラッドのみを共有する。
• 標準的な仮定の下で収束解析を提供し、非増加ステップサイズと逐次的正則化を含み、内レベル目的の速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド学習の制約の下で FISM は二重最適化の唯一解へ収束できるか。
• RQ2 FL における逐次正則化を用いた場合、内レベル目的の収束保証と収束速度はどうなるか。
• RQ3 データ分散下での収束・計算・通信オーバーヘッドの点で FISM は IR-IG とどう比較されるか。

主な発見

n	m	IR-IG	S=1	S=2	S=4	S=8
10	500	16.92	15.96	5.95	2.34	1.39
10	1000	42.88	40.51	13.47	5.31	2.76
10	5000	374.42	351.27	120.96	42.67	18.12
10	10000	849.49	800.44	295.64	104.30	38.62
50	500	15.78	14.77	6.13	3.37	2.77
50	1000	35.47	33.20	12.46	5.06	2.96
50	5000	318.56	298.60	106.08	36.96	15.26
50	10000	808.79	760.02	277.83	98.70	36.61
100	500	17.33	16.17	8.31	4.74	3.91
100	1000	34.73	32.44	12.90	5.95	4.10
100	5000	292.83	276.16	97.92	35.52	14.08
100	10000	768.78	724.63	256.56	89.95	35.93

• FISM は前述の仮定の下で外部レベルの唯一解 xH* へ収束する。
• 適切なステップサイズのスケジュールとともに平均反復の内レベル目的値の収束速度を確立する。
• 実証結果は、FISM がバイナリ MNIST 分類と位置問題の両方で IR-IG より優れており、特にグループ数 S が増える場合に顕著であることを示す。
• FISM は IR-IG より実行時間が速く、テスト精度や訓練損失の点でも多くの設定で上回る。
• 通信効率化設計（H のサブグラッド情報のみを共有）によりプライバシーを保ちつつ FL 的な集約を可能にする。
• 遅いクライアントのボトルネックを緩和するための非同期・異質性設定を将来的な改善として提案。