[論文レビュー] Attractor Selection in Nonlinear Energy Harvesting Using Deep Reinforcement Learning

Xue-She Wang, Brian P. Mann|arXiv (Cornell University)|Oct 3, 2020

Innovative Energy Harvesting Technologies参考文献 52被引用数 12

ひとこと要約

本稿では、変換-回転磁気結合を有する非線形エネルギー回収素子における共存するアトラクター間のスイッチングに、深層強化学習（DRL）に基づく制御戦略を提案する。Deep Deterministic Policy Gradient（DDPG）アルゴリズムを用いることで、最小限のエネルギー消費で効率的なアトラクター選択が可能となり、制御制約下でも高効率な高・低出力状態間のスイッチングが実現された。

ABSTRACT

Recent research efforts demonstrate that the intentional use of nonlinearity enhances the capabilities of energy harvesting systems. One of the primary challenges that arise in nonlinear harvesters is that nonlinearities can often result in multiple attractors with both desirable and undesirable responses that may co-exist. This paper presents a nonlinear energy harvester which is based on translation-to-rotational magnetic transmission and exhibits coexisting attractors with different levels of electric power output. In addition, a control method using deep reinforcement learning was proposed to realize attractor switching between coexisting attractors with constrained actuation.

研究の動機と目的

• 同じ励振条件下で、出力が異なる複数の安定応答が共存する非線形エネルギー回収素子における共存アトラクターの課題に取り組む。
• エネルギーおよび時間消費量を最小限に抑えて、高出力アトラクターと低出力アトラクターの間をスイッチングできる制御戦略を開発する。
• 制限された力、電圧、またはエネルギー入力といった物理的制約（アクチュエータの制限）を尊重する強化学習フレームワークを設計する。
• 非線形力学的系における複雑なマルチステーブル挙動を示す系に対して、DRLを用いて最適制御方策を学習する可能性を実証する。
• 将来の実験的実装のための転移学習を想定した、シミュレーションベースの基盤を提供する。

提案手法

• 変換-回転磁気伝達を有する非線形エネルギー回収素子を採用し、明確に異なる出力を持つ共存アトラクターを示す。
• 状態にシステムの位置、速度、電圧を含み、行動空間にアクチュエータの変位または印加電圧を含む強化学習環境を定式化する。
• スイッチング速度とエネルギー消費の両立を最適化する報酬関数を最大化する連続的制御方策を、Deep Deterministic Policy Gradient（DDPG）を用いて学習する。
• リアルタイムのシステム状態に基づき、現在のアトラクターを迅速に予測するためのニューラルネットワーク分類器を統合し、正確な状態観測を可能にする。
• 2種類の制御メカニズムを実装する：(1) 線形アクチュエータによるスプリング位置制御、および (2) 発電機を一時的にモーターに逆転させる電圧制御。
• 高いエネルギー消費と長いスイッチング時間を懲罰する報酬関数を定義し、エネルギー効率的かつ迅速な遷移を促進する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、エネルギーコストを最小限に抑えて、非線形エネルギー回収素子における共存アトラクター間のスイッチングを効果的に実現できるか？
• RQ2 アクチュエータの力や最大電圧といった物理的制約下で、制御方策の性能はどのように変化するか？
• RQ3 制御の滑らかさとエネルギー効率のトレードオフは、学習済み方策を単純化した場合にどのように現れるか？特に、高エネルギー状態の不安定化に伴う影響を検討する。
• RQ4 エネルギーおよび時間消費量の観点から、DRLベースの制御方策と簡略化された準バンバン制御方策（quasi-bang-bang）の性能を比較するとどうなるか？
• RQ5 DRL方策は、異なる行動範囲（例：最大電圧）に一般化可能であり、スイッチング性能のロバスト性を維持できるか？

主な発見

• DDPGに基づく制御方策は、50回のランダムな初期条件において、高出力（HP）および低出力（LP）アトラクター間のスイッチングを高い信頼性で実現した。
• LPからHPへのスイッチングにおいて、電圧制御（コントローラII）はスプリング制御（コントローラI）よりもエネルギー効率的であり、テストされた状況で最大25％のエネルギー消費削減を達成した。
• HPからLPへのスイッチングは、より高いエネルギー状態を不安定化させる必要があるため、LPからHPへのスイッチングよりもエネルギー消費量が多くなった。特に、アクチュエータ制約が厳しくなるとエネルギーコストが増加した。
• DRL方策から導出した簡略化された準バンバン制御は、元のDDPG方策よりもエネルギー消費量が多くなったが、アクチュエータの運動が滑らかであったため、効率と機械的摩耗のトレードオフが明らかになった。
• 電圧行動範囲を小さく（例：±5 V と ±10 V）した場合、電圧制御におけるエネルギー消費量が増加し、電源制約への感受性が顕著に現れた。
• コントローラI下での平均的な駆動周期数は、HPからLPへのスイッチングで12.3回、LPからHPへのスイッチングで8.7回であり、高エネルギー状態を不安定化させるためのエネルギーコストが明確に示された。