[論文レビュー] AutoLoss: Learning Discrete Schedules for Alternate Optimization.

Haowen Xu, Hao Zhang+4 more|arXiv (Cornell University)|Sep 27, 2018

Neural Networks and Applications被引用数 11

ひとこと要約

AutoLoss は、機械学習における交互目的最適化のための離散的最適化スケジュールを自動で学習するメタラーニングフレームワークである。メタデータを用いてスケジュールをデータ駆動型の動的ポリシーとしてモデル化することで、GAN 訓練、NMT、MLP 分類、二次回帰など多様なタスクにおいて収束品質が向上し、新しいモデルやデータセットへの一般化が可能である。

ABSTRACT

Many machine learning problems involve iteratively and alternately optimizing different task objectives with respect to different sets of parameters. Appropriately scheduling the optimization of a task objective or a set of parameters is usually crucial to the quality of convergence. In this paper, we present AutoLoss, a meta-learning framework that automatically learns and determines the optimization schedule. AutoLoss provides a generic way to represent and learn the discrete optimization schedule from metadata, allows for a dynamic and data-driven schedule in ML problems that involve alternating updates of different parameters or from different loss objectives. We apply AutoLoss on four ML tasks: d-ary quadratic regression, classification using a multi-layer perceptron (MLP), image generation using GANs, and multi-task neural machine translation (NMT). We show that the AutoLoss controller is able to capture the distribution of better optimization schedules that result in higher quality of convergence on all four tasks. The trained AutoLoss controller is generalizable -- it can guide and improve the learning of a new task model with different specifications, or on different datasets.

研究の動機と目的

• 交互目的学習の場面における有効な最適化スケジュールを手動で設計する課題に対処すること。
• 機械学習における収束品質を向上させるための汎用的でデータ駆動型の離散スケジュール学習手法を開発すること。
• 学習済みスケジュールを異なるモデル、アーキテクチャ、データセットに一般化できることを実現すること。
• 複数目的または複数パラメータの訓練設定における損失最適化のスケジューリングを自動化すること。
• 交互更新を伴う複雑な機械学習パイプラインを最適化するスケーラブルで適応的なフレームワークを提供すること。

提案手法

• AutoLoss はメタラーニングを用いて、モデルアーキテクチャ、データ統計、訓練進行状況などの入力メタデータに基づいて離散的最適化スケジュールを予測するコントローラーを学習する。
• 最適化スケジュールは、微分可能ポリシーネットワークを介して学習される、損失またはパラメータ更新の離散的シーケンスとして表現される。
• 最終的なモデル性能を最大化するための強化学習ベースの訓練目的を採用し、各訓練ステップでスケジュール意思決定がなされる。
• コントローラーはタスクと設定の分布上で訓練されるため、再訓練なしに新しい未観測のモデルやデータセットに一般化可能である。
• 過去の訓練走行から得たパターンに基づき、各ステップでどの損失やパラメータセットを最適化するかを動的に選択する。
• スケジュール自体は離散的であるが、勾配ベースの最適化を用いてスケジュールポリシーをエンドツーエンドで訓練可能である。

実験結果

リサーチクエスチョン

• RQ1 学習済みのデータ駆動型最適化スケジュールは、手作業で設計されたまたは固定されたスケジュールを上回る性能を示せるか？
• RQ2 AutoLoss コントローラーは、異なるモデルアーキテクチャやデータセットにどの程度一般化できるか？
• RQ3 AutoLoss は多様な機械学習タスクにおいて収束品質をどの程度向上できるか？
• RQ4 コントローラーは再訓練なしに、メタデータのみに基づいて新しいタスクに適応できるか？
• RQ5 スケジュールの多様性と分布学習の影響は、最終的なモデル性能にどのような影響を与えるか？

主な発見

• AutoLoss は、4つの異なる機械学習タスクにおいて、より高品質な収束に導く最適化スケジュールを効果的に学習した。
• 再訓練なしに、異なるアーキテクチャやデータセットを持つ新しいモデルに対しても、訓練済みコントローラーが効果的に一般化した。
• フレームワークは、訓練進行に応じて適応する動的でデータ駆動型のスケジュールを学習することで、収束品質を向上させた。
• コントローラーは高性能スケジュールの分布を捉えており、多様な設定において一貫した性能向上を実現した。
• AutoLoss は、GAN 訓練やマルチタスク NMT などの複雑なタスクにおいても、交互最適化における頑健さと適応性を示した。
• 評価されたすべてのタスクにおいて、固定またはヒューリスティックなスケジューリング戦略に比べて、優れた結果を達成した。