[논문 리뷰] RL-Controller: a reinforcement learning framework for active structural control

Soheila Sadeghi Eshkevari, Soheil Sadeghi Eshkevari외 2명|arXiv (Cornell University)|2021. 03. 13.

Elevator Systems and Control참고 문헌 34인용 수 4

한 줄 요약

이 논문은 지진 하중 하에서 건물의 상층간 변위를 최소화하도록 훈련하는 모델리스 강화학습 프레임워크인 RL-Controller를 소개한다. 데이터 기반 접근 방식과 딥 강화학습을 활용하여, LQG 제어 대비 평균 상층간 변위가 25% 감소하고 가속도가 26% 감소하는 등 더 낮은 제어력 에너지를 사용함으로써, 사전 시스템 지식이 없이도 뛰어난 성능을 입증한다.

ABSTRACT

To maintain structural integrity and functionality during the designed life cycle of a structure, engineers are expected to accommodate for natural hazards as well as operational load levels. Active control systems are an efficient solution for structural response control when a structure is subjected to unexpected extreme loads. However, development of these systems through traditional means is limited by their model dependent nature. Recent advancements in adaptive learning methods, in particular, reinforcement learning (RL), for real-time decision making problems, along with rapid growth in high-performance computational resources, help structural engineers to transform the classic model-based active control problem to a purely data-driven one. In this paper, we present a novel RL-based approach for designing active controllers by introducing RL-Controller, a flexible and scalable simulation environment. The RL-Controller includes attributes and functionalities that are defined to model active structural control mechanisms in detail. We show that the proposed framework is easily trainable for a five story benchmark building with 65% reductions on average in inter story drifts (ISD) when subjected to strong ground motions. In a comparative study with LQG active control method, we demonstrate that the proposed model-free algorithm learns more optimal actuator forcing strategies that yield higher performance, e.g., 25% more ISD reductions on average with respect to LQG, without using prior information about the mechanical properties of the system.

연구 동기 및 목표

• 기존의 모델 기반 제어 방법의 한계를 극복하기 위해 유연하고 확장 가능하며 모델리스인 구조 시스템을 위한 활성 제어 프레임워크를 개발하는 것.
• 구조물의 기계적 특성에 대한 사전 지식이 없이도 지진 동요 하에서 실시간으로 적응형 제어를 가능하게 하는 강화학습을 활용한 빌딩 제어를 구현하는 것.
• 강한 지반 동요 동안 상층간 변위, 가속도 및 기초 전단력을 최소화하여 구조물의 복원력을 향상시키는 것.
• 복잡하고 불확실하며 동적인 환경에서 전통적인 최적 제어 방법인 LQG와 비교해 데이터 기반 강화학습 제어의 우수성을 입증하는 것.
• 다양한 역사적 지진 기록을 사용하여 다섯 층짜리 벤치마크 빌딩에서 프레임워크를 검증하는 것.

제안 방법

• 프레임워크는 활성 구조 제어를 마르코프 결정 과정(MDP)으로 모델링하며, 에이전트(신경망)가 실시간 구조 상태 관측치를 바탕으로 제어력을 선택한다.
• 연속적인 상태-행동 공간에서 최적의 행동가치 함수를 근사하기 위해 경험 재생과 타겟 네트워크를 활용한 딥 Q-네트워크(DQN)를 사용하여 훈련을 안정화시킨다.
• 환경은 역사적 지진에서 기인한 기초 진동을 갖는 다섯 층짜리 벤치마크 빌딩을 시뮬레이션하며, 강건한 훈련을 위해 화이트 노이즈와 인파르 타입의 지반 동요를 모두 포함한다.
• 보상 함수는 높은 상층간 변위와 가속도를 방지하면서도 제어력 에너지를 최소화하도록 설계되어 균형 잡힌 성능을 유도한다.
• 일관된 일반화를 확보하기 위해 다양한 지진 기록(예: 노스리지, 고베, 라마 프리에타) 총 7건을 조합하여 RL 에이전트를 훈련시킨다.
• 성능을 평가하기 위해 동일한 조건에서 LQG 제어 방법과 비교한다.

실험 결과

연구 질문

• RQ1 다양한 지진 동요 하에서 전통적인 모델 기반 제어 방법인 LQG보다 모델리스 강화학습 프레임워크가 구조 반응을 더 잘 최소화할 수 있는가?
• RQ2 훈련 중 인파르 타입과 화이트 노이즈 지반 동요를 포함할 경우 RL 기반 제어기의 강건성과 성능에 어떤 영향을 미치는가?
• RQ3 구조물의 기계적 특성에 대한 사전 지식 없이도 RL-Controller가 상층간 변위와 가속도를 어느 정도 감소시킬 수 있는가?
• RQ4 실제 지진 시나리오에서 RL-Controller와 LQG 간의 제어력 에너지 및 기초 전단력은 어떻게 비교되는가?
• RQ5 재훈련 없이도 다양한 지반 동요 파rameter(세기, 주기, 지속 시간)에 대해 RL-Controller가 일반화 가능한가?

주요 결과

• RL-Controller는 일곱 건의 역사적 지진에 걸쳐 LQG 제어 대비 평균 25%의 상층간 변위(ISD) 감소를 달성하여 뛰어난 진동 감쇠 성능을 입증했다.
• RL-Controller는 LQG 대비 평균 가속도를 26% 감소시켜 관성력 제어와 승객의 안락도 향상에 기여했다.
• 제어 신호의 정규화된 에너지로 측정했을 때, RL-Controller는 LQG 대비 평균 30% 적은 제어력 에너지를 사용하여 더 높은 에너지 효율성을 보였다.
• RL-Controller 하에서 최대 층 전단력이 크게 감소했으며, 최대 제어 전단력 대 비제어 전단력 비율이 LQG 대비 20% 낮아, 더 높은 구조적 안전성을 나타냈다.
• 모든 일곱 건의 지진 기록에서 RL-Controller는 LQG를 초월했으며, 네 가지 성능 지표(J1–J4)에서 일관된 개선을 보여, 강력한 일반화 능력과 강건성을 입증했다.
• 프레임워크는 변위 제어와 가속도 완화를 효과적으로 균형 잡고, 일반적으로 제어 시스템에서 관찰되는 상충 관계를 피하며 충격 인파르를 효과적으로 흡수하는 데 성공했다.