[論文レビュー] DiffTune: Auto-Tuning through Auto-Differentiation

Cheng Sheng, Minkyung Kim+5 more|arXiv (Cornell University)|Sep 20, 2022

Iterative Learning Control Systems被引用数 7

ひとこと要約

DiffTune は勾配ベースの自動チューニングフレームワークであり、動的システムとコントローラーを計算グラフにアンラップすることで、自動微分を用いてコントローラーのパラメータを最適化する。これにより、非線形コントローラーの効率的で安定したチューニングが可能になる。クアッドロプタの実験では、12次元のパrameter空間で10回の試行において、追従誤差を3.5倍低減した。最先端の手法を上回った。これは、1次勾配情報の有効な使用と、不確実性補償のための$π$-適応制御によるものである。

ABSTRACT

The performance of robots in high-level tasks depends on the quality of their lower-level controller, which requires fine-tuning. However, the intrinsically nonlinear dynamics and controllers make tuning a challenging task when it is done by hand. In this paper, we present DiffTune, a novel, gradient-based automatic tuning framework. We formulate the controller tuning as a parameter optimization problem. Our method unrolls the dynamical system and controller as a computational graph and updates the controller parameters through gradient-based optimization. The gradient is obtained using sensitivity propagation, which is the only method for gradient computation when tuning for a physical system instead of its simulated counterpart. Furthermore, we use $\mathcal{L}_1$ adaptive control to compensate for the uncertainties (that unavoidably exist in a physical system) such that the gradient is not biased by the unmodelled uncertainties. We validate the DiffTune on a Dubin's car and a quadrotor in challenging simulation environments. In comparison with state-of-the-art auto-tuning methods, DiffTune achieves the best performance in a more efficient manner owing to its effective usage of the first-order information of the system. Experiments on tuning a nonlinear controller for quadrotor show promising results, where DiffTune achieves 3.5x tracking error reduction on an aggressive trajectory in only 10 trials over a 12-dimensional controller parameter space.

研究の動機と目的

• 高次元パrameter空間を有する非線形ロボットコントローラーの手動チューニングが非効率的で不安定であるという課題に対処すること。
• 物理的システムのデータと互換性があり、リアルタイムデプロイメントに適した、安定した自動チューニングフレームワークを開発すること。
• システムモデルが不完全または不確実であっても、自動微分を用いた勾配ベース最適化によりコントローラーパrameterを最適化できること。
• 未モデル化されたダイナミクスを補償し、物理的システムにおける勾配バイアスを防ぐために、$π$-適応制御を統合すること。
• 複雑なロボットタスクにおいて、既存のモデルベースおよびモデルフリーの自動チューニング手法と比較して優れたパフォーマンスと効率性を示すこと。

提案手法

• 動的システムとコントローラーを計算グラフにアンラップすることで、コントローラーのチューニングをパラメータ最適化問題として定式化する。
• 自動微分と感度伝播を用いて、性能損失（例：追従誤差）のコントローラーパrameterに関する勾配を計算する。
• 計算された勾配に基づいて勾配降下法を用い、反復的にコントローラーパrameterを更新する。
• 未モデル化された不確実性からのバイアスを軽減し、システムを安定化させるために、$π$-適応制御を統合する。
• 陰関数定理を介した暗黙的微分に適した構造（例：PID、MPC、LQR）を活用することで、コントローラーの微分可能性を保証する。
• 10秒間の時間窓における位置追従誤差のノルムの二乗に基づく損失関数を用い、現実世界の条件を再現するためにプロセスノイズを追加する。

実験結果

リサーチクエスチョン

• RQ1 自動微分を用いた勾配ベース自動チューニングは、既存のモデルフリーおよびモデルベースの自動チューニング手法と比較して、優れたパフォーマンスと効率性を達成できるか？
• RQ2 未モデル化されたシステム不確実性が存在する状況で、$π$-適応制御の統合が勾配の安定性とチューニングパフォーマンスに与える影響は何か？
• RQ3 DiffTune は、高次元のコントローラーパラメータ空間（例：12次元）において、少数の試行回数で追従誤差をどの程度低減できるか？
• RQ4 学習率は、DiffTune の最適化プロセスにおける収束性と安定性にどのように影響するか？
• RQ5 DiffTune は、再チューニングなしに多様で攻撃的な軌道に一般化できるか？

主な発見

• DiffTune は、12次元のパラメータ空間で10回の試行のみを用いて、クアッドロプタの攻撃的3Dのフィギュア8軌道において、追従誤差を3.5倍低減した。
• AutoTune や SafeOpt-PSO といった最先端の自動チューニングベースラインと比較して、収束速度および最終的パフォーマンスの両面で優れた結果を示した。
• アブレーションスタディにより、学習率が収束に顕著な影響を与えることが確認された。高い学習率（例：0.1）は最小値付近で振動を引き起こしたが、低い学習率（0.001）は滑らかではあるが遅い収束を示した。
• $π$-適応制御の統合により、不確実性に対応するためにパrameterを高めに設定しても安定したチューニングが可能になった。
• DiffTune は、2Dおよび3Dの円、垂直のフィギュア8など多様な軌道に、再チューニングなしで強く一般化した。
• 計算グラフのアンラップにより解釈可能性が保たれ、純粋なブラックボックス学習手法とは明確に区別された。