[論文レビュー] RL-Controller: a reinforcement learning framework for active structural control

Soheila Sadeghi Eshkevari, Soheil Sadeghi Eshkevari+2 more|arXiv (Cornell University)|Mar 13, 2021

Elevator Systems and Control参考文献 34被引用数 4

ひとこと要約

本稿では、地震動下における建物の層間変位を最小化するためのモデルフリー強化学習フレームワーク、RL-Controllerを紹介する。データ駆動型の深層強化学習を用いることで、LQG制御と比較して平均で25%低い層間変位と26%低い加速度を達成し、制御力エネルギーも少なめに抑え、事前のシステム知識がなくても優れた性能を示した。

ABSTRACT

To maintain structural integrity and functionality during the designed life cycle of a structure, engineers are expected to accommodate for natural hazards as well as operational load levels. Active control systems are an efficient solution for structural response control when a structure is subjected to unexpected extreme loads. However, development of these systems through traditional means is limited by their model dependent nature. Recent advancements in adaptive learning methods, in particular, reinforcement learning (RL), for real-time decision making problems, along with rapid growth in high-performance computational resources, help structural engineers to transform the classic model-based active control problem to a purely data-driven one. In this paper, we present a novel RL-based approach for designing active controllers by introducing RL-Controller, a flexible and scalable simulation environment. The RL-Controller includes attributes and functionalities that are defined to model active structural control mechanisms in detail. We show that the proposed framework is easily trainable for a five story benchmark building with 65% reductions on average in inter story drifts (ISD) when subjected to strong ground motions. In a comparative study with LQG active control method, we demonstrate that the proposed model-free algorithm learns more optimal actuator forcing strategies that yield higher performance, e.g., 25% more ISD reductions on average with respect to LQG, without using prior information about the mechanical properties of the system.

研究の動機と目的

• 従来のモデル依存制御手法の限界を克服する、柔軟でスケーラブルかつモデルフリーな構造制御フレームワークの開発。
• 構造力学的特性の事前知識がなくても、地震動に対するリアルタイムで適応可能な制御を強化学習を用いて実現。
• 強い地盤動揺れ下での層間変位、加速度、基底せん断力の最小化により、構造物のレジリエンスを向上。
• 複雑で不確実性が高く動的な環境下で、古典的最適制御手法（例：LQG）に比べてデータ駆動型強化学習制御の優位性を実証。
• 多様な歴史的地震記録を用いて、5階建てベンチマーク建物上でフレームワークを検証。

提案手法

• アクティブ構造制御をマークフ・決定過程（MDP）としてモデル化し、エージェント（ニューラルネットワーク）がリアルタイムの構造状態観測に基づいて制御力を選択する。
• 連続的状態・行動空間における最適行動価値関数の近似を安定化させるために、経験再生とターゲットネットワークを用いた深層Qネットワーク（DQN）を採用。
• 環境は、歴史的地震動からの基底励振を伴う5階建てベンチマーク建物をシミュレートし、耐久性を高めるためにホワイトノイズおよびインパulse型の地盤動揺れを併用。
• 報酬関数は、高い層間変位と加速度をペナルティ化するとともに、制御力エネルギーの最小化を促進し、性能のバランスを図る。
• 一般化を確保するため、7つの多様な地震記録（例：ノースリッジ、神戸、ロマ・プリエタ）を組み合わせてエージェントを学習。
• 性能評価のため、同一条件下でLQG制御手法とフレームワークを比較。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーな強化学習フレームワークは、多様な地震動下で、LQGのような古典的モデルベース制御手法を上回る性能を示せるか？
• RQ2 トレーニング段階でインパulse型およびホワイトノイズ成分を含む地盤動揺れを用いることで、強化学習ベース制御のロバストネスと性能にどのような影響を与えるか？
• RQ3 構造物の力学的特性に関する事前知識がなくても、RL-Controllerはどの程度層間変位と加速度を低減できるか？
• RQ4 実世界の地震動シナリオ下で、RL-ControllerとLQGの間で制御力エネルギーおよび基底せん断力はどのように比較されるか？
• RQ5 再トレーニングなしで、RL-Controllerは振幅、周波数、持続時間などの多様な地盤動揺れパラメータに一般化できるか？

主な発見

• RL-Controllerは、7つの歴史的地震動に対して平均25%の層間変位（ISD）低減を達成し、LQG制御と比較して優れた振動制御性能を示した。
• RL-Controllerは、LQGと比較して平均26%低い階層加速度を記録し、慣性力の制御が向上し、居住者の快適性が向上した。
• RL-Controllerは、制御信号の正規化エネルギーで測定したところ、LQGと比較して平均30%少ない制御力エネルギーを消費し、エネルギー効率が優れていた。
• 最大階層せん断力は、RL-Controller下で顕著に低減され、最大制御せん断力と非制御せん断力の比がLQGと比較して20%低く抑えられ、構造的安全性の向上が示された。
• RL-Controllerは、7つの地震記録すべてでLQGを上回り、4つの性能指標（J1–J4）において一貫した改善を示し、一般化能力とロバストネスの高さを裏付けた。
• フレームワークは、変位制御と加速度低減のバランスを効果的に学習し、通常の制御システムで見られるトレードオフを回避した。特に、ショックインパulseの吸収を効果的に行った。