[논문 리뷰] ERFit: Entropic Regression Fit Matlab Package, for Data-Driven System Identification of Underlying Dynamic Equations

Abd AlRahman R. AlMomani, Erik M. Bollt|arXiv (Cornell University)|2020. 10. 05.

Evolutionary Algorithms and Applications인용 수 4

한 줄 요약

ERFit는 비선형 동역계 시스템을 모델링하기 위해 조건부 상호정보를 사용해 희소하고 정보가 풍부한 기저 함수를 반복적으로 선택하는 엔트로픽 회귀를 사용하는 MATLAB 패키지이다. 이는 전진 선택과 후진 제거를 결합하여 최소한의 사용자 감독으로 시간 시리즈 데이터로부터 정확하고 저차원의 모델을 발견하며, 로렌츠 및 로시엘 시스템과 같은 벤치마크에서 높은 정확도를 달성한다.

ABSTRACT

Data-driven sparse system identification becomes the general framework for a wide range of problems in science and engineering. It is a problem of growing importance in applied machine learning and artificial intelligence algorithms. In this work, we developed the Entropic Regression Software Package (ERFit), a MATLAB package for sparse system identification using the entropic regression method. The code requires minimal supervision, with a wide range of options that make it adapt easily to different problems in science and engineering. The ERFit is available at https://github.com/almomaa/ERFit-Package

연구 동기 및 목표

• 비선형 동역계 시스템에서 희소 시스템 식별을 위한 사용자 우호적이고 최소한의 감독이 필요한 MATLAB 패키지 개발
• 시스템의 구조에 대한 사전 지식 없이 고차원 시간 시리즈 데이터로부터 잠재적인 동역학 방정식을 식별하는 과제 해결
• 기존 최소 제곱법이나 희소성 유도 방법 대비 정보 이론 기반 기준을 활용하여 모델 정확도를 향상시키고 과적합을 방지
• 연구자들이 다양한 과학적 응용 분야에 맞게 도함수 추정, 상호정보 계산, 파ameter 크기 추정을 쉽게 커스터마이징할 수 있도록 지원

제안 방법

• ERFit는 후보 라이브러리에서 관련 기저 함수를 선택하기 위해 조건부 상호정보 기반의 탐욕적 최적화 방법인 엔트로픽 회귀(ER)를 사용한다.
• 전진 선택 단계에서는 현재 모델을 기준으로 벡터 장과 후보 함수 사이의 조건부 상호정보를 최대화하는 기저 함수를 반복적으로 추가한다.
• 후진 제거 단계에서는 기저 함수의 조건부 상호정보 기여도를 최소화함으로써 불필요하거나 정보가 없는 함수를 제거한다.
• 알고리즘은 정보 수익의 허용 오차 기반 종료 조건(HLT1)을 사용하여 더 이상 유의미한 향상이 없을 경우 정지한다.
• 도함수, 상호정보, 파ameter 크기의 사용자 정의 추정기 지원으로 유연성과 적응성을 향상시킨다.
• 패키지는 MATLAB로 구현되었으며, 완전한 문서화와 라이브 스크립트를 제공하여 다양한 분야의 연구자들이 접근하고 확장하기 쉽게 한다.

실험 결과

연구 질문

• RQ1 조건부 상호정보를 사용한 엔트로픽 회귀가 노이즈가 있는 시간 시리즈 데이터로부터 잠재 역학을 식별하는 데 기존의 희소 회귀 방법보다 우수한 성능을 보일 수 있는가?
• RQ2 전진 선택과 후진 제거의 이중 단계 과정이 모델 복잡도를 줄이면서도 예측 정확도를 유지하는 데 얼마나 효과적인가?
• RQ3 ERFit는 커플링된 진동자 네트워크나 쿠라모토-시바시니 방정식과 같은 PDE와 같은 고차원 시스템에서 정확한 동역학 방정식을 얼마나 잘 탐지할 수 있는가?
• RQ4 실제 과학 응용 분야에서 노이즈와 고차원 기저 함수 라이브러리에 대해 이 방법은 얼마나 강인한가?
• RQ5 ERFit의 모odu라 설계는 다양한 모델링 맥락에서 도함수 및 정보 이론적 양의 맞춤형 추정 전략을 지원할 수 있는가?

주요 결과

• ERFit는 노이즈가 있는 시간 시리즈 데이터로부터 로렌츠 및 로시엘 시스템의 진짜 동역학을 높은 정확도로 식별하여 최소한의 사용자 입력으로 성공적으로 수행하였다.
• 300차원의 커플링된 로렌츠 시스템 네트워크와 같은 고차원 시스템에서도 뛰어난 성능을 보였으며, 이 경우 회귀 문제의 차원은 45,000을 초과하였다.
• 후진 제거 단계는 불필요한 기저 함수를 효과적으로 제거하여 모델의 희소성 향상과 과적합 감소를 이끌었지만 예측 성능은 유지하였다.
• 기저 함수 확장을 통해 약 150차원으로 확장된 16차원의 쿠라모토-시바시니 방정식에서도 정확한 시스템 식별을 달성하였다.
• 정보 수익 허용 오차 기반 종료 조건(HLT1)은 불필요한 반복을 방지하여 계산 효율성을 보장하였다.
• ERFit는 MATLAB R2016a 이상과 호환되며, 도함수 추정, 상호정보, 파ameter 크기의 사용자 정의 구성 요소를 지원하여 광범위한 과학적 재사용이 가능하다.