[論文レビュー] Improved Bilevel Model: Fast and Optimal Algorithm with Theoretical Guarantee

Junyi Li, Bin Gu+1 more|arXiv (Cornell University)|Sep 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 10

ひとこと要約

本論文は、外側の目的関数を内側問題に正則化することで、収束速度と最適性を向上させる改善された二段階モデルを提案する。この手法は理論的収束保証を備えた効率的なアルゴリズムを用い、データハイパーリメンディングおよびハイパーレプレゼンテーション学習のタスクにおいて、標準的な二段階定式化を上回る性能を発揮する。

ABSTRACT

Due to the hierarchical structure of many machine learning problems, bilevel programming is becoming more and more important recently, however, the complicated correlation between the inner and outer problem makes it extremely challenging to solve. Although several intuitive algorithms based on the automatic differentiation have been proposed and obtained success in some applications, not much attention has been paid to finding the optimal formulation of the bilevel model. Whether there exists a better formulation is still an open problem. In this paper, we propose an improved bilevel model which converges faster and better compared to the current formulation. We provide theoretical guarantee and evaluation results over two tasks: Data Hyper-Cleaning and Hyper Representation Learning. The empirical results show that our model outperforms the current bilevel model with a great margin. \emph{This is a concurrent work with \citet{liu2020generic} and we submitted to ICML 2020. Now we put it on the arxiv for record.}

研究の動機と目的

• 現在の二段階モデルにおける内側問題最適化の独立性に起因する収束の非最適性と性能の低さを是正すること。
• 全体の最適化目標に整合性をもたせるために、内側および外側の目的関数を同時に最適化する新しい二段階定式化を開発すること。
• 改善されたモデルに対して理論的収束保証を備えた効率的なアルゴリズムを設計すること。
• 提案された定式化の優位性を、複数の機械学習タスクにおいて実証的に検証すること。

提案手法

• 内側問題に外側の目的関数を用いて正則化することで、解が内側損失と外側問題に有利な両方を最小化するようにする。
• BiG-SAMに基づく効率的なアルゴリズムを提案し、適応的ステップサイズと外側問題の情報を組み込んだ勾配更新を採用する。
• 内側と外側の目的関数のバランスを取る修正された内側最適化を用い、非最適な局所最適解を回避する。
• 理論的分析により収束性を証明し、性能向上の下限を提供する。
• 計算コストと性能のトレードオフを許容するハイブリッド更新戦略を実装する。
• 内側反復頻度およびBiG-SAMの使用に関するアブレーションスタディを含め、データハイパーリメンディングおよびハイパーレプレゼンテーション学習にモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 内側および外側の目的関数を同時に考慮する再定式化された二段階モデルは、標準的定式化と比較して、より速い収束とより優れた性能を達成できるか？
• RQ2 外側問題の情報を内側最適化プロセスに組み込むことで、モデルの安定性と収束性にどのような影響を与えるか？
• RQ3 BiG-SAMの更新頻度は、計算コストとモデル性能のトレードオフにどのように影響するか？
• RQ4 改善された定式化は、ハイパーリメンディングやレプレゼンテーション学習を含む多様な機械学習タスクにおいて、一貫してベースラインを上回る性能を発揮するか？
• RQ5 新しい二段階モデルの改善された収束行動の理論的裏付けは何か？

主な発見

• 改善された二段階モデルは、標準的定式化と比較して顕著に優れた性能を発揮し、20-way 1-shot MiniImageNet設定では4%の精度向上を達成した。
• 5-way 1-shot Omniglotタスクでは、モデルは30%の精度に達したのに対し、ベースラインモデルは26%であった。
• データハイパーリメンディングタスクにおけるF1スコア曲線から、モデルはより速く収束し、より低い最適値に到達することが示された。
• アブレーションスタディでは、BiG-SAMステップの使用頻度が低くなると性能が低下するが、たとえ頻度が低くてもベースラインを上回ることが確認された。
• 実験から、内側問題の最適化を独立して行うと収束が遅くなり、性能も低下することが判明し、これは内側問題を独立に最適化することが非最適であることを示している。
• 特に困難な設定（例：1-shot学習）において、モデルは最大の性能向上を示し、困難な一般化タスクにおける有効性を確認した。