[논문 리뷰] An Introduction to Bi-level Optimization: Foundations and Applications in Signal Processing and Machine Learning

Yihua Zhang, Prashant Khanduri외 4명|arXiv (Cornell University)|2023. 08. 01.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 신호 처리 및 머신 러닝 분야에서 이중 최적화(Bi-level Optimization, BLO)에 대한 종합적인 소개를 제공하며, 기초 이론, 해석 가능한 문제 클래스, 최적화 알고리즘, 실용적 응용을 포함한다. BLO가 적대적 로버스트성, 모델 일반화, 코어셋 선택과 같은 작업에서 계층적 의사결정을 모델링하는 데 어떻게 활용되는지 보여주며, 이론적 통찰을 제공하고 향후 연구를 위한 핵심 열린 과제를 규명한다.

ABSTRACT

Recently, bi-level optimization (BLO) has taken center stage in some very exciting developments in the area of signal processing (SP) and machine learning (ML). Roughly speaking, BLO is a classical optimization problem that involves two levels of hierarchy (i.e., upper and lower levels), wherein obtaining the solution to the upper-level problem requires solving the lower-level one. BLO has become popular largely because it is powerful in modeling problems in SP and ML, among others, that involve optimizing nested objective functions. Prominent applications of BLO range from resource allocation for wireless systems to adversarial machine learning. In this work, we focus on a class of tractable BLO problems that often appear in SP and ML applications. We provide an overview of some basic concepts of this class of BLO problems, such as their optimality conditions, standard algorithms (including their optimization principles and practical implementations), as well as how they can be leveraged to obtain state-of-the-art results for a number of key SP and ML applications. Further, we discuss some recent advances in BLO theory, its implications for applications, and point out some limitations of the state-of-the-art that require significant future research efforts. Overall, we hope that this article can serve to accelerate the adoption of BLO as a generic tool to model, analyze, and innovate on a wide array of emerging SP and ML applications.

연구 동기 및 목표

• 신호 처리 및 머신 러닝에서 계층적 의사결정을 모델링하는 기초 프레임워크로 이중 최적화(BLO)를 통합적으로 개관하는 것.
• 비볼록 또는 비볼록 성분을 가진 해석 가능한 BLO 문제 클래스에 대해 최적성 조건 및 수렴 보장과 같은 핵심 이론적 개념을 제시하는 것.
• 적대적 훈련, 모델 일반화, 자원 할당과 같은 실제 신호 처리 및 머신 러닝 응용에서의 실무적 구현을 포함한 최신 BLO 알고리즘과 그 응용을 조사하는 것.
• 비선형 제약 조건, 비단일 해를 가진 하위수준 해, 다수의 계층, 분산/페더레이티드 환경을 다루는 데 있어 BLO의 핵심 열린 문제를 규명하는 것.
• 신뢰할 수 있는 도구로 BLO를 보급하여 미래의 신호 처리 및 머신 러닝 응용 분야에서 모델링, 분석, 혁신을 가속화하는 것.

제안 방법

• 이중 최적화를 두 수준의 최적화 문제로 공식화: 상위 수준 목표 함수가 하위 수준 최적화 하위문제의 해에 의존하도록 정의한다.
• 상위 수준 변수 θ와 하위 수준 변수 φ를 포함하는 표준 BLO 공식화를 도입하며, φ*는 제약 조건 h(θ,φ) ≤ 0 하에 하위 수준 문제의 최적 해이다.
• 암시적 미분과 이중 최적화 기반 표준 BLO 알고리즘을 검토하며, 최적화 원리와 실무적 구현 전략을 강조한다.
• 상위 수준에서 데이터 가중치를 선택하고 하위 수준에서 선택된 부분집합에서 모델을 훈련하는 코어셋 선택과 같은 실제 문제에 BLO를 적용한다.
• 비볼록 및 블랙박스 설정에서 BLO의 이론적 성질을 분석하고, 현실적인 가정 하에서의 수렴성을 논의한다.
• 분산 및 페더레이티드 BLO 프레임워크와 다수의 계층 및 과다 매개변수화 문제로의 확장을 포함한 향후 알고리즘 방향을 제안한다.

Figure 1: An taxonomy of the solvers and application tasks for BLO.

실험 결과

연구 질문

• RQ1 어떻게 이중 최적화가 신호 처리 및 머신 러닝 응용에서 계층적 의사결정을 효과적으로 모델링할 수 있는가?
• RQ2 비선형 제약 조건, 비단일 해를 가진 하위 수준 해, 또는 블랙박스 성분이 포함된 BLO 문제를 해결하는 데 있어 핵심 이론적 과제는 무엇인가?
• RQ3 BLO는 딥 러닝에서 모델 일반화, 적대적 로버스트성, 데이터 효율성을 향상시키는 데 어떻게 활용될 수 있는가?
• RQ4 현재 BLO 알고리즘이 대규모 및 분산 환경에서 가지는 한계는 무엇이며, 이를 어떻게 보완할 수 있는가?
• RQ5 전이 학습이나 전문가 혼합 모델 훈련과 같은 다수의 계층 최적화 문제로 BLO를 어떻게 확장할 수 있는가?

주요 결과

• 이중 최적화는 코어셋 선택과 같이 데이터 선택(상위 수준)이 모델 훈련(하위 수준)에 의존하는 등, 신호 처리 및 머신 러닝에서 계층적 구조를 효과적으로 모델링할 수 있다.
• 논문은 비선형 및 결합된 제약 조건을 BLO의 주요 과제로 규명하며, 현재의 방법들은 주로 선형 제약 조건에 집중하고 이론적 보장이 제한적이라는 점을 지적한다.
• 비단일 해를 가진 하위 수준 해(Non-Singleton BLO, NS-BLO)는 여전히 열린 문제이며, 기존 알고리즘은 이론적 기반과 확장성 부족으로 인해 핵심 연구 격차를 이룬다.
• 전이 학습에서 데이터 세트 정제와 같은 다수의 계층 문제로 BLO를 확장하면 새로운 복잡성이 발생하며, 이를 해결하기 위한 새로운 알고리즘 프레임워크가 필요하다.
• 대규모 및 분산된 데이터 환경은 분산 및 페더레이티드 BLO 알고리즘을 요구하며, 이는 여전히 개발이 미흡하여 향후 연구의 핵심 영역이다.
• 과다 매개변수화된 설정, 예를 들어 더블 디센트를 보이는 경우에서 BLO의 이론적 분석은 미래 연구를 위한 유망한 새로운 방향이다.