[論文レビュー] Open Problems in Applied Deep Learning

Maziar Raissi|arXiv (Cornell University)|Jan 26, 2023

Model Reduction and Neural Networks被引用数 7

ひとこと要約

本論文は ML 開発ループを二階層最適化問題として位置づけ、学習パラダイム全体での適用状況を概観し、計算量とカーボンフットプリントを削減するための反復ステップの自動化に向けた多くの未解決課題と方向性を概説する。

ABSTRACT

This work formulates the machine learning mechanism as a bi-level optimization problem. The inner level optimization loop entails minimizing a properly chosen loss function evaluated on the training data. This is nothing but the well-studied training process in pursuit of optimal model parameters. The outer level optimization loop is less well-studied and involves maximizing a properly chosen performance metric evaluated on the validation data. This is what we call the "iteration process", pursuing optimal model hyper-parameters. Among many other degrees of freedom, this process entails model engineering (e.g., neural network architecture design) and management, experiment tracking, dataset versioning and augmentation. The iteration process could be automated via Automatic Machine Learning (AutoML) or left to the intuitions of machine learning students, engineers, and researchers. Regardless of the route we take, there is a need to reduce the computational cost of the iteration step and as a direct consequence reduce the carbon footprint of developing artificial intelligence algorithms. Despite the clean and unified mathematical formulation of the iteration step as a bi-level optimization problem, its solutions are case specific and complex. This work will consider such cases while increasing the level of complexity from supervised learning to semi-supervised, self-supervised, unsupervised, few-shot, federated, reinforcement, and physics-informed learning. As a consequence of this exercise, this proposal surfaces a plethora of open problems in the field, many of which can be addressed in parallel.

研究の動機と目的

• Inner model training（内部モデル訓練）を outer hyper-parameter optimization（外部ハイパーパラメータ最適化）と分離する二階層最適化問題として機械学習パイプラインを定式化する。
• 反復ステップを主要なボトルネックとして強調し、それを自動化または加速するアプローチ（AutoML、MLOps、パラメータ共有）を検討する。
• 監督あり、半教師あり、無監督、Few-shot、Federated、強化学習、物理情報を含む多様な学習パラダイムとアーキテクチャ（CNN、Transformer、ビジョンタスク）にわたる未解決課題を評価する。
• パフォーマンスと効率、データ・データ拡張戦略、モデル開発のカーボンフットプリントのマルチ目的トレードオフについて論じる。

提案手法

• 統一的な二階層最適化フレームワークを提示する：min_alpha M_val(w*(alpha), alpha) subject to w*(alpha)=argmin_w L_train(w, alpha).
• M_val が離散的、微分不可能、または定義が不十分な場合の解法戦略を調査する。グリッド/ランダム/ベイズ探索、強化学習、進化アルゴリズム、パラメータ共有を含む。
• 内部最適化の高速化のためのパラメータ共有によるメモリ計算のトレードオフを提案する。M_val の微分可能な代理関数を検討して w と alpha の結合最適化を可能にする。
• パフォーマンスと効率および展開制約をバランスする多目的外部最適化とハイパーハイパーパラメータの扱いを論じる。
• ハイパーパラメータ空間の一部としてデータ拡張とポリシー探索の考慮事項を概説する。

Figure 1: The general mechanism for building machine learning solutions.

実験結果

リサーチクエスチョン

• RQ1 異なる学習パラダイム全体で外部反復ステップを自動化または加速するにはどうすればよいか？
• RQ2 検証指標の微分可能な代理関数はハイパーパラメータ探索のための効率的な二階層最適化を可能にするか？
• RQ3 マルチオブジェクティブな二階層設定で精度と効率（FLOPs、遅延、メモリ）をどうバランスさせるべきか？
• RQ4 監督ありおよび非監督設定を横断してデータ拡張ポリシーとアーキテクチャの選択が反復プロセスに与える影響は？
• RQ5 半教師あり、フェデレーテッド、強化学習、物理情報を組み込んだ学習へ二階層最適化を拡張する際に生じる未解決課題は何か？

主な発見

• 内部訓練ループが二階層定式化における主要な計算ボトルネックである。
• メモリ集約的なパラメータ共有とウォームスタートは、最初から訓練する場合と比較して反復を劇的に高速化できる。
• 検証指標の微分可能な代理は、内部問題を完了まで解かずに勾配ベースの二階層最適化を可能にする。
• 非微分可能な指標（例：精度、mAP）の微分可能近似を開発して AutoML 的プロセスを促進する必要がある。
• 監督から物理情報学習まで、頑健性、説明性、転移、マルチモーダル設定を含む複数の未解決課題が特定されている。