[論文レビュー] An Introduction to Bi-level Optimization: Foundations and Applications in Signal Processing and Machine Learning

Yihua Zhang, Prashant Khanduri+4 more|arXiv (Cornell University)|Aug 1, 2023

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿は、信号処理および機械学習分野における二段階最適化（BLO）について包括的な紹介を提供しており、基礎理論、取り扱い可能な問題クラス、最適化アルゴリズム、実用的応用をカバーしている。BLOは、敵対的ロバストネス、モデル一般化、コアセット選択といったタスクにおける階層的意思決定をモデル化できることを示しており、理論的知見を提供するとともに、今後の研究における主要な未解決課題を特定している。

ABSTRACT

Recently, bi-level optimization (BLO) has taken center stage in some very exciting developments in the area of signal processing (SP) and machine learning (ML). Roughly speaking, BLO is a classical optimization problem that involves two levels of hierarchy (i.e., upper and lower levels), wherein obtaining the solution to the upper-level problem requires solving the lower-level one. BLO has become popular largely because it is powerful in modeling problems in SP and ML, among others, that involve optimizing nested objective functions. Prominent applications of BLO range from resource allocation for wireless systems to adversarial machine learning. In this work, we focus on a class of tractable BLO problems that often appear in SP and ML applications. We provide an overview of some basic concepts of this class of BLO problems, such as their optimality conditions, standard algorithms (including their optimization principles and practical implementations), as well as how they can be leveraged to obtain state-of-the-art results for a number of key SP and ML applications. Further, we discuss some recent advances in BLO theory, its implications for applications, and point out some limitations of the state-of-the-art that require significant future research efforts. Overall, we hope that this article can serve to accelerate the adoption of BLO as a generic tool to model, analyze, and innovate on a wide array of emerging SP and ML applications.

研究の動機と目的

• 信号処理および機械学習における階層的意思決定をモデル化するための基盤フレームワークとしての二段階最適化（BLO）を統合的かつ包括的に概説すること。
• 凸または非凸な成分を有する取り扱い可能なBLO問題クラスに対して、最適性条件および収束保証を含む主要な理論的概念を提示すること。
• 最新のBLOアルゴリズムと、敵対的訓練、モデル一般化、リソース割り当てなどの実世界のSPおよびML応用における実装を調査すること。
• 非線形制約の取り扱い、非一意な下位レベル解、多段階階層、分散／フェデレーテッド設定などの分野におけるBLOの主要な未解決問題を特定すること。
• BLOを、今後のSPおよびML応用分野におけるモデリング、分析、イノベーションの標準的ツールとして広く採用を促進すること。

提案手法

• BLOを二段階最適化問題として形式化：上位レベルの目的関数が下位レベル最適化サブプロブレムの解に依存する形で定式化する。
• 上位レベル変数θと下位レベル変数φを有する標準的なBLO定式化を導入し、φ*は制約h(θ,φ) ≤ 0の下で下位レベル問題の最適解であることを明示する。
• 陰関数微分およびネストド最適化に基づく標準的なBLOアルゴリズムをレビューし、それらの最適化原則と実装戦略に焦点を当てる。
• 上位レベルがデータ重みを選択し、下位レベルが選択されたサブセット上でモデルを訓練するという、コアセット選択のような実世界の問題にBLOを適用する。
• 非凸およびブラックボックス設定におけるBLOの理論的性質を分析し、現実的な仮定の下での収束性について議論する。
• 分散およびフェデレーテッドBLOフレームワークへの今後のアルゴリズム的展開を提案し、多段階および過パラメータ化問題への拡張を含む。

Figure 1: An taxonomy of the solvers and application tasks for BLO.

実験結果

リサーチクエスチョン

• RQ1 二段階最適化は、信号処理および機械学習応用分野における階層的意思決定を効果的にモデル化できるか？
• RQ2 非線形制約、非一意な下位レベル解、またはブラックボックスコンponentsを有するBLO問題を解く際の主な理論的課題は何か？
• RQ3 BLOは、深層学習におけるモデル一般化、敵対的ロバストネス、データ効率の向上にどのように活用できるか？
• RQ4 大規模および分散環境における現在のBLOアルゴリズムの限界は何か。それらはどのように克服できるか？
• RQ5 トランスファー学習やエキスパート混合モデルのトレーニングのような多段階最適化問題に、BLOをどのように拡張できるか？

主な発見

• 二段階最適化は、コアセット選択のように、データ選択（上位レベル）がモデルトレーニング（下位レベル）に依存する信号処理および機械学習分野における階層的構造の有効なモデル化を可能にする。
• 本稿は、非線形および結合された制約がBLOにおける主な課題であると特定しており、現行の手法は主に線形制約に焦点を当てており、理論的保証が限定的である。
• 非一意な下位レベル解（NS-BLO）は未解決問題であり、既存のアルゴリズムは理論的根拠に欠け、スケーラビリティにも欠けるため、重要な研究ギャップである。
• トランスファー学習におけるデータセットプリーニングのような多段階問題へのBLOの拡張は、新たな複雑性をもたらし、新規のアルゴリズムフレームワークの必要性を生じさせる。
• 大規模および分散データ環境では、分散およびフェデレーテッドBLOアルゴリズムが求められるが、これらはまだ十分に発展しておらず、今後の研究における重要なフロンティアである。
• 過パラメータ化された設定（例：ダブルデセントを示すもの）におけるBLOの理論的分析は、今後の研究にとって、新たな有望な方向性である。