[論文レビュー] An Optimal Control Approach to Sequential Machine Teaching

Laurent Lessard, Xuezhou Zhang+1 more|arXiv (Cornell University)|Oct 15, 2018

Machine Learning and Algorithms参考文献 13被引用数 9

ひとこと要約

本稿では、Pontryaginの最大原理を用いて勾配降下法による学習者と最小二乗損失を備えた場合の最適な訓練シーケンスを導出する時間最適制御問題として、逐次的機械学習を定式化する。最適制御は、グリーディヒューリスティクスに比べて著しく短い教育シーケンスをもたらし、最大25%のステップ数削減を達成する。また、小さなステップサイズでも高い精度を維持するスケーラブルな連続近似（CNLP）を導入する。

ABSTRACT

Given a sequential learning algorithm and a target model, sequential machine teaching aims to find the shortest training sequence to drive the learning algorithm to the target model. We present the first principled way to find such shortest training sequences. Our key insight is to formulate sequential machine teaching as a time-optimal control problem. This allows us to solve sequential teaching by leveraging key theoretical and computational tools developed over the past 60 years in the optimal control community. Specifically, we study the Pontryagin Maximum Principle, which yields a necessary condition for optimality of a training sequence. We present analytic, structural, and numerical implications of this approach on a case study with a least-squares loss function and gradient descent learner. We compute optimal training sequences for this problem, and although the sequences seem circuitous, we find that they can vastly outperform the best available heuristics for generating training sequences.

研究の動機と目的

• 逐次的学習者を特定のモデルに導く最短の訓練シーケンスを同定する課題に対処すること。
• 最適制御理論を適用することで、逐次的機械学習におけるグリーディヒューリスティクスの非最適性を克服すること。
• 最適な教育シーケンスを計算するための原理的かつ解析的根拠に基づいた手法を提供すること。
• 離散的および連続時間の最適制御定式化を解くためのスケーラブルな計算ツール（NLPおよびCNLP）を開発すること。
• Pontryaginの最大原理の理論的解析を通じて、最適教育軌道の構造的洞察を明らかにすること。

提案手法

• 初期状態および終了状態のモデルが固定されており、終端時刻が自由な時間最適制御問題として、逐次的機械学習を定式化する。
• 最適性の必要条件を導出するため、Pontryaginの最大原理（PMP）を適用する。
• 最小二乗損失を備えた勾配降下法学習者に対する最適軌道の2次元的構造的特徴を導出する。
• 正確な離散時間ソルバー（NLP）と連続近似（CNLP）を開発し、最適入力シーケンスを計算する。
• 連続的CNLP解を基準軌道として用い、モデル予測制御（MPC）を適用してロバストなフィードバック方策を生成する。
• PMPの条件から導かれる境界値問題を数値最適化により解く。

実験結果

リサーチクエスチョン

• RQ1 最適制御理論を用いることで、グリーディヒューリスティクスに比べて短い訓練シーケンスを、逐次的機械学習で得られるか？
• RQ2 最小二乗損失を備えた勾配降下法学習者に対する最適教育シーケンスの構造的特性は何か？
• RQ3 最適制御に基づく教育手法の性能は、グリーディおよびヒューリスティック手法と比較して、シーケンス長の観点でどの程度か？
• RQ4 連続時間近似（CNLP）は、離散的最適シーケンスを正確かつスケーラブルに近似できるか？
• RQ5 オープンループ教育シーケンスの限界は何か？フィードバック方策は実用的な数値誤差をどのように緩和できるか？

主な発見

• NLPソルバーは、3つのテストケースにおいて、グリーディ法の219、241、310ステップに比べ、151、153、259ステップの教育シーケンスを発見した。
• 初期重み w₀ = (a, 0) および目標重み w⋆ = (0, 2a) のタスクにおいて、a が増加するにつれて、グリーディ法と最適法のシーケンス長比が指数関数的に増大し、グリーディ法の著しい非最適性が示された。
• 学習率 η が小さい場合、CNLP法は離散的NLP解に非常に近い近似を提供し、実行時間はシーケンス長に依存しなかった。
• 最適軌道は、収束が遅くなる「圧縮方向」を避けるが、グリーディ法はしばしば収束が遅い領域に進入する。
• 最適制御アプローチにより、最小二乗損失と勾配更新の構造のおかげで、モデル次元に関係なく、問題が本質的に2次元的であることが明らかになった。
• CNLP基準軌道にモデル予測制御（MPC）を適用することで、実際の数値誤差を緩和するためのロバストなフィードバック方策を生成できる。