[논문 리뷰] Federated Incremental Subgradient Method for Convex Bilevel Optimization Problems

Sudkobfa Boontawee, Mootta Prangprakhon외 1명|arXiv (Cornell University)|2026. 01. 21.

Optimization and Variational Analysis인용 수 0

한 줄 요약

이 논문은 연합 학습(Federated) 설정에서 볼레벨 최적화를 해결하기 위해 Federated Incremental Subgradient Method(FISM)를 제시하고, 수렴성을 보이고 IR-IG와 비교하여 이진 분류 및 위치 문제에서 더 우수한 성능을 보여준다.

ABSTRACT

In this letter, we consider a bilevel optimization problem in which the outer-level objective function is strongly convex, whereas the inner-level problem consists of a finite sum of convex functions. Bilevel optimization problems arise in situations where the inner-level problem does not have a unique solution. This has led to the idea of introducing an outer-level objective function to select a solution with the specific desired properties. We propose an iterative method that combines an incremental algorithm with a broadcast algorithm, both based on the principles of federated learning. Under appropriate assumptions, we establish the convergence results of the proposed algorithm. To demonstrate its performance, we present two numerical examples related to binary classification and a location problem.

연구 동기 및 목표

• 외부 목표가 강정밀도(strongly convex)하고 내부 문제는 볼록 함수의 유한합인 경우의 볼레벨 최적화를 다룬다.
• 증분 업데이트와 연합 학습 원칙을 결합한 연합 증가형 하위경사 알고리즘을 개발한다.
• 제안된 방법의 수렴을 증명하고 내부 수준 목표의 비율(rate)을 확립한다.
• 이진 분류와 위치 문제에 대한 수치 실험을 통해 효과를 입증한다.

제안 방법

• FISM을 제안하는데, 이는 외부 수준의 하위경사 H와 여러 클라이언트의 로컬 내부 수준 하위경사를 사용한다.
• 클라이언트는 투사된 하위경사 단계와 H의 공유 하위경사를 포함하는 규제화와 유사한 항을 포함한 로컬 증가 업데이트를 수행한다.
• 중앙 서버가 클라이언트 업데이트를 모아 다음 글로벌 반복을 형성하며, 프라이버시를 유지하기 위해 H의 하위경사만 공유한다.
• 표준 가정하에서 비감소 학습률과 반복적 규제화를 포함한 수렴 분석을 제공하고 내부 수준 목표의 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 연합 학습 제약하에서도 FISM이 볼레벨 문제의 유일한 해로 수렴할 수 있는가?
• RQ2 FL에서 반복적 규제화를 사용할 때 내부 수준 목표의 수렴 보장과 속도는 무엇인가?
• RQ3 데이터 분산하에서 수렴성, 계산, 통신 오버헤드 측면에서 FISM과 IR-IG의 비교는 무엇인가?

주요 결과

n	m	IR-IG	S=1	S=2	S=4	S=8
10	500	16.92	15.96	5.95	2.34	1.39
10	1000	42.88	40.51	13.47	5.31	2.76
10	5000	374.42	351.27	120.96	42.67	18.12
10	10000	849.49	800.44	295.64	104.30	38.62
50	500	15.78	14.77	6.13	3.37	2.77
50	1000	35.47	33.20	12.46	5.06	2.96
50	5000	318.56	298.60	106.08	36.96	15.26
50	10000	808.79	760.02	277.83	98.70	36.61
100	500	17.33	16.17	8.31	4.74	3.91
100	1000	34.73	32.44	12.90	5.95	4.10
100	5000	292.83	276.16	97.92	35.52	14.08
100	10000	768.78	724.63	256.56	89.95	35.93

• FISM은 명시된 가정하에 외부 수준의 고유 해 xH*로 수렴한다.
• 적절한 학습률 스케줄에서 평균 반복의 내부 수준 목표 값에 대한 수렴 속도가 수립된다.
• 실험 결과 FISM은 바이너리 MNIST 분류와 위치 문제에서 IR-IG를 능가하며, 특히 그룹 수 S가 증가할수록 성능이 향상된다.
• FISM은 빠른 실행 시간과 일반화 테스트 정확도 및 학습 손실에서 IR-IG보다 더 나은 경우가 많다.
• 통신 효율적 설계(오직 하위경사 정보 H를 공유)로 프라이버시를 보존하면서 FL 스타일의 집계를 가능하게 한다.
• 향후 개선으로 비동기적이거나 이질적인 환경에서 느린 클라이언트를 완화하는 방향이 제안된다.