[論文レビュー] A Differentiable Augmented Lagrangian Method for Bilevel Nonlinear Optimization

Benoit Landry, Zachary Manchester+1 more|arXiv (Cornell University)|Feb 8, 2019

Optimization and Variational Analysis被引用数 4

ひとこと要約

本稿では、KKT条件に依存せずに下位問題のソルバを通じた自動微分を可能にする、微分可能かつ拡張ラグランジュ法を用いた二段階非線形最適化手法を提案する。Juliaで実装されたソルバとSNOPTのようなSQPベースのソルバを組み合わせることで、接触力学を伴うロボット工学の問題、たとえばロバスト制御やパラメータ推定に適したスケーラブルで微分可能な二段階最適化を実現する。

ABSTRACT

Many problems in modern robotics can be addressed by modeling them as bilevel optimization problems. In this work, we leverage augmented Lagrangian methods and recent advances in automatic differentiation to develop a general-purpose nonlinear optimization solver that is well suited to bilevel optimization. We then demonstrate the validity and scalability of our algorithm with two representative robotic problems, namely robust control and parameter estimation for a system involving contact. We stress the general nature of the algorithm and its potential relevance to many other problems in robotics.

研究の動機と目的

• 複雑な動的特性や接触力を持つロボット工学分野の二段階最適化問題を解く課題に対処すること。
• 最適な下位問題の解を必要とし、非凸性や非滑らかさに敏感なKKTに基づくアプローチの限界を克服すること。
• 射影ステップを必要とせず、等式制約と不等式制約の両方をサポートする汎用的で微分可能な非線形計画法ソルバを開発すること。
• 下位問題の並列化を活用して、ロボットシステムにおけるスケーラブルなパラメータ推定とロバスト制御を実現すること。
• 接触と摩擦を伴う現実世界のロボット工学的問題に対して、本手法の有効性を実証し、データセットサイズの増大に伴う優れたスケーラビリティを示すこと。

提案手法

• 下位問題を微分可能な拡張ラグランジュ法で解く二段階最適化問題を定式化する。
• 下位問題のソルバをJuliaで実装し、自動微分のネイティブなサポートを最大限に活用し、微分不能な演算を回避する。
• 上位問題に逐次二次計画法（SQP）ソルバ（例：SNOPT）を用い、制約付きの目的関数を扱えるようにする。
• 勾配計算にカールシュ＝クーン＝タッカー（KKT）条件に依存せず、ソルバのアルゴリズム的手順そのものを直接自動微分する。
• 下位問題が実行可能でない場合でも、残差を微分可能な損失とみなすことにより勾配計算を可能にし、最適解に収束しなくても勾配が得られるようにする。
• 下位問題の解法を複数スレッドに並列化し、各スレッドがデータセット内の1つのサンプルを処理することで、データサイズに応じた効率的なスケーリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 KKT条件に依存しない、汎用的で微分可能な非線形計画法ソルバを二段階最適化に適用可能に開発できるか？
• RQ2 接触力学を伴うパラメータ推定タスクにおいて、サンプル数の増加に伴う本手法のスケーリング特性はいかほどか？
• RQ3 最先端のSQPソルバと効果的に組み合わせることで、ロボット工学分野の制約付き二段階最適化問題を解けるか？
• RQ4 従来のKKTベースのアプローチと比較して、非線形ソルバ内での自動微分を用いる場合の計算コストとスケーラビリティのトレードオフはどの程度か？
• RQ5 下位問題が実行可能でない場合でも、勾配が意味のあるものとなり、二段階最適化の枠組み内で安定した最適化が可能になる範囲はどの程度か？

主な発見

• 提案手法による二段階パラメータ推定は、観測されない接触力のための意思決定変数を導入する古典的手法よりも、データセットサイズの増大に伴い著しく優れたスケーリングを示す。
• 44件のサンプルに対して、二段階手法は30.7秒（スケーリング後7.7）を要したが、古典的手法は1サンプルあたり24.55秒（スケーリング後246.0）を要し、二段階手法の優れたスケーラビリティが示された。
• ノイズの多いデータによる下位問題の実行不能性に対しても、本手法は明確な勾配を生成し、最適解への収束を必要とせずとも安定した最適化が可能である。
• 摩擦係数（μ）を0.15から0.23の範囲で正確に推定でき、複数回のシミュレーション実行において一貫した結果が得られた。
• 微分可能なソルバにより、接触を多く含む操作やロバスト制御といったロボット工学の応用分野でエンドツーエンド最適化が可能となり、理論的枠組みをはるかに超える実用的価値を示した。
• Juliaによる実装により、効率的な自動微分が可能であり、公開されたリポジトリ（https://github.com/blandry/Bilevel.jl）により再現性と拡張性が確保されている。