[논문 리뷰] Attractor Selection in Nonlinear Energy Harvesting Using Deep Reinforcement Learning

Xue-She Wang, Brian P. Mann|arXiv (Cornell University)|2020. 10. 03.

Innovative Energy Harvesting Technologies참고 문헌 52인용 수 12

한 줄 요약

이 논문은 선형성의 에너지 수확기에서 이동-회전 자기 결합을 통해 공존하는 액터터(자기적 안정 상태) 간 전환을 위한 딥 강화학습(DRL) 기반 제어 전략을 제안한다. 딥 결정적 정책 기울기(DDPG) 알고리즘을 사용하여, 제어력 제약 조건 하에서도 최소한의 에너지 소비로 고출력 및 저출력 상태 간 효과적인 전환을 가능하게 하였다.

ABSTRACT

Recent research efforts demonstrate that the intentional use of nonlinearity enhances the capabilities of energy harvesting systems. One of the primary challenges that arise in nonlinear harvesters is that nonlinearities can often result in multiple attractors with both desirable and undesirable responses that may co-exist. This paper presents a nonlinear energy harvester which is based on translation-to-rotational magnetic transmission and exhibits coexisting attractors with different levels of electric power output. In addition, a control method using deep reinforcement learning was proposed to realize attractor switching between coexisting attractors with constrained actuation.

연구 동기 및 목표

• 동일한 외부 자극 하에 다양한 출력을 가지는 다수의 안정된 응답이 공존하는 비선형 에너지 수확기에서 공존 액터터 문제를 해결한다.
• 에너지 소비와 시간 소모를 최소화하면서 고출력 액터터와 저출력 액터터 간 전환을 가능하게 하는 제어 전략을 개발한다.
• 제한된 힘, 전압 또는 에너지 입력 등의 물리적 제어력 제약 조건을 고려한 강화학습 프레임워크를 설계한다.
• 비선형 역학 시스템에서 복잡한 다중 안정 행동을 보이는 복잡한 시스템에 대해 최적의 제어 정책을 학습하는 데 DRL을 사용할 수 있음을 입증한다.
• 전이 학습을 활용한 향후 실험적 구현을 위한 시뮬레이션 기반 기초를 제공한다.

제안 방법

• 이동-회전 자기 전달 방식을 기반으로 하는 비선형 에너지 수확기 구조를 사용하여, 고유한 출력을 가지는 공존 액터터를 나타낸다.
• 시스템의 위치, 속도, 전압을 포함한 상태와 액추에이터 변위 또는 적용 전압을 포함한 행동 공간을 갖는 강화학습 환경을 설정한다.
• 전환 속도와 에너지 비용을 균형 잡는 보상 함수를 최대화하는 연속적 제어 정책을 학습하기 위해 딥 결정적 정책 기울기(DDPG)를 사용한다.
• 실시간 시스템 상태를 바탕으로 현재 액터터를 신속하게 예측하기 위해 신경망 분류기를 통합하여 정확한 상태 관측을 가능하게 한다.
• 두 가지 제어 메커니즘을 구현한다: (1) 선형 액추에이터를 통한 스프링 위치 제어, (2) 발전기를 일시적으로 모터로 전환하기 위한 전압 제어.
• 고에너지 소비와 장시간의 전환을 방지하기 위해 보상 함수를 정의하여 에너지 효율적이고 빠른 전환을 유도한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 제약 조건이 있는 비선형 에너지 수확기에서 공존 액터터 간 전환을 최소한의 에너지 비용으로 효과적으로 수행할 수 있는가?
• RQ2 제한된 액추에이터 힘 또는 최대 전압 등의 물리적 제약 조건 하에서 제어 정책의 성능은 어떠한가?
• RQ3 학습된 정책을 단순화할 경우, 에너지 효율성과 제어의 부드러움 사이의 상충 관계는 어떻게 나타나는가?
• RQ4 에너지 소비와 시간 소비 측면에서 DRL 기반 제어기와 단순화된 준-뱅-뱅 제어 정책 간의 성능 차이는 어떠한가?
• RQ5 최대 전압 등의 행동 범위가 다를 경우 DRL 정책이 일반화되어 전환 성능을 유지할 수 있는가?

주요 결과

• DDPG 기반 제어 정책은 50개의 랜덤 초기 조건에 대해 고출력(HP) 및 저출력(LP) 액터터 간 전환을 높은 신뢰성으로 성공적으로 수행하였다.
• LP에서 HP로의 전환 시, 전압 제어(컨트롤러 II)는 스프링 제어(컨트롤러 I)보다 에너지 효율적이었으며, 시험 상황에서 최대 25%의 에너지 소비 감소를 기록하였다.
• HP에서 LP로의 전환은 더 높은 에너지 상태를 불안정화해야 하므로 LP에서 HP로의 전환보다 더 많은 에너지를 소비하였으며, 더 엄격한 제어력 제약 조건 하에서는 에너지 비용이 증가하였다.
• DRL 정책에서 유도된 단순화된 준-뱅-뱅 제어 정책은 원본 DDPG 정책보다 더 많은 에너지를 소비했지만 액추에이터 운동이 더 부드러웠으며, 이는 효율성과 기계적 마모 사이의 상충 관계를 시사한다.
• 작은 전압 행동 범위(예: ±5 V 대비 ±10 V)는 전압 제어에서 더 높은 에너지 소비를 초래하여 전원 공급 제약 조건에 민감함을 나타냈다.
• 컨트롤러 I 하에서 고출력에서 저출력으로의 전환에는 평균 12.3회, 저출력에서 고출력으로의 전환에는 평균 8.7회의 외부 자극 주기를 소비하여 에너지 비용을 회수하는 데 필요한 평균 주기 수를 보여주었으며, 이는 고에너지 상태를 불안정화하는 데 드는 에너지 비용을 입증한다.