[論文レビュー] Gradient-based Bi-level Optimization for Deep Learning: A Survey

Can Chen, Xi Chen+3 more|arXiv (Cornell University)|Jul 24, 2022

Advanced Multi-Objective Optimization Algorithms被引用数 10

ひとこと要約

本調査は、深層学習における勾配ベースの二段階最適化について包括的な概要を提供し、問題を二段階タスクとして形式的に定式化するフレームワークを提示するとともに、4つの主要なソルバー（明示的勾配、プロキシ、陰関数、閉形式更新）をレビューしている。研究者がハイパーパrameter最適化およびメタ知識抽出において実用的なガイダンスを得られるようにするとともに、今後の研究方向として科学的特徴最適化と正確なプロキシ更新が挙げられている。

ABSTRACT

Bi-level optimization, especially the gradient-based category, has been widely used in the deep learning community including hyperparameter optimization and meta-knowledge extraction. Bi-level optimization embeds one problem within another and the gradient-based category solves the outer-level task by computing the hypergradient, which is much more efficient than classical methods such as the evolutionary algorithm. In this survey, we first give a formal definition of the gradient-based bi-level optimization. Next, we delineate criteria to determine if a research problem is apt for bi-level optimization and provide a practical guide on structuring such problems into a bi-level optimization framework, a feature particularly beneficial for those new to this domain. More specifically, there are two formulations: the single-task formulation to optimize hyperparameters such as regularization parameters and the distilled data, and the multi-task formulation to extract meta-knowledge such as the model initialization. With a bi-level formulation, we then discuss four bi-level optimization solvers to update the outer variable including explicit gradient update, proxy update, implicit function update, and closed-form update. Finally, we wrap up the survey by highlighting two prospective future directions: (1) Effective Data Optimization for Science examined through the lens of task formulation. (2) Accurate Explicit Proxy Update analyzed from an optimization standpoint.

研究の動機と目的

• 深層学習の応用に特化した勾配ベースの二段階最適化の形式的定義と分類体系を提供すること。
• 研究者がハイパーパrameterチューニングやメタ知識抽出において適した二段階最適化に適した問題を特定し構造化するのを支援すること。
• 外側変数を更新する4つの主要なソルバー（明示的勾配、プロキシ、陰関数、閉形式）の比較と対比を行うこと。
• 2つの今後の研究方向を強調すること：科学的応用における有効なデータ最適化と、最適化の観点からの正確な明示的プロキシ更新。

提案手法

• 内側変数を外側変数に依存する内側問題の最適解として定義し、内側および外側変数を用いて勾配ベースの二段階最適化を形式化する。
• 2つのタスク定式化を導入する：単一タスク（例：ハイパーパrameter最適化）とマルチタスク（例：メタラーニングおよびモデル初期化）。
• 4つのソルバーをレビューする：内側最適化をバックプロパゲーションで通して明示的勾配更新、内側解を近似するための学習可能なネットワークを用いたプロキシ更新、陰関数微分を用いた陰関数更新、および内側解が解析的解を持つ場合の閉形式更新。
• プロキシネットワークはモデリングの事前知識、重要度サンプリング、逆写像、およびモデルベース最適化にインspiredされた効率的なサンプリング戦略を用いて強化可能であると提言する。
• 科学的制約（幾何的および生化学的）を内側レベルの目的関数に組み込むことで、科学的深層学習における特徴学習を向上させることを強調する。
• 明示的プロキシ更新をモデルベース最適化に接続し、獲得関数や前向き・逆向き写像の整合性といった技術がプロキシの正確性を向上させると示唆する。

実験結果

リサーチクエスチョン

• RQ1 深層学習の問題をどのように体系的に二段階最適化問題として定式化できるか？
• RQ2 ハイパーパrameterチューニングやメタ知識抽出において、与えられた問題が二段階最適化に適しているかどうかを判断する基準は何か？
• RQ3 明示的勾配、プロキシ、陰関数、閉形式の4つの主要なソルバーは、計算効率と正確性においてどのように異なるか？
• RQ4 ハイグレディエント計算のための正確で効率的なプロキシネットワークを構築する際の主な課題と機会は何か？
• RQ5 科学的制約（幾何的または生化学的ルールなど）をどのように内側レベルの目的関数に効果的に埋め込むことができるか？これにより科学的深層学習応用における特徴学習がどのように向上するか？

主な発見

• 勾配ベースの二段階最適化は、バックプロパゲーションによるハイグレディエント計算により、古典的手法（例：進化的アルゴリズム）に比べてスケーラビリティに優れ、深層学習における効率的なハイパーパrameterチューニングとメタ知識抽出を可能にする。
• 単一タスク定式化は正則化パラメータや抽出データの最適化に有効であり、マルチタスク定式化は、メタ知識抽出を介してメタラーニングおよびモデル初期化を可能にする。
• モデリングの事前知識（滑らかさなど）を統合し、情報量の多い外側・内側変数ペアに対して重要度サンプリングを用いることで、明示的プロキシ更新は顕著に改善される。
• 外側変数を内側変数から予測する逆写像の統合により、前向きおよび逆向き写像の整合性を強制することで、プロキシの正確性が向上する。
• モデルベース最適化からの獲得関数を用いた効率的なサンプリング戦略により、情報量の多い外側変数のサンプルに焦点を当てることで、プロキシネットワークの学習にかかる計算コストを削減できる。
• 幾何的または生化学的ルールなどの科学的制約を内側レベルの目的関数に組み込むことで、科学的深層学習タスクにおけるより正確で物理的に整合性のある特徴表現が得られる。