[논문 리뷰] Metric on Nonlinear Dynamical Systems with Perron-Frobenius Operators

Isao Ishikawa, Keisuke Fujii외 3명|arXiv (Cornell University)|2018. 05. 31.

Morphological variations and asymmetry인용 수 12

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 페르론-프로베니우스 연산자를 사용하여 비선형 동역계를 비교하는 일반적인 지표를 제안한다. 이는 기존의 주성분 각도와 쿠퍼만 연산자 이론에 기반한 지표를 일반화한다. 이 방법은 유한한 시계열 데이터로부터 비선형 역학의 효과적인 비교 및 분류를 가능하게 하며, 합성 및 실세계 데이터셋에서 이전 방법들을 능가한다. 특히 가우시안 커널과 2차 지표를 사용할 경우 성능이 뛰어나다.

ABSTRACT

The development of a metric for structural data is a long-term problem in pattern recognition and machine learning. In this paper, we develop a general metric for comparing nonlinear dynamical systems that is defined with Perron-Frobenius operators in reproducing kernel Hilbert spaces. Our metric includes the existing fundamental metrics for dynamical systems, which are basically defined with principal angles between some appropriately-chosen subspaces, as its special cases. We also describe the estimation of our metric from finite data. We empirically illustrate our metric with an example of rotation dynamics in a unit disk in a complex plane, and evaluate the performance with real-world time-series data.

연구 동기 및 목표

• 기존의 부분공간 기반 지표를 확장하는 일반적이고 원리적인 비선형 동역계(NLDS) 비교를 위한 지표를 개발하는 것.
• 비선형 역학에 대한 커널 방법의 적용을 가능하게 하기 위해, RKHS에서 쿠퍼만 연산자와 관련된 페르론-프로베니우스 연산자를 사용하여 NLDS의 비교를 체계화하는 것.
• 유한한 시계열 관측치로부터 제안된 지표를 데이터 기반으로 추정하는 절차를 제공하는 것.
• UCR 아카이브에서의 합성 로테이션 역학과 실세계 시계열 데이터에 대한 지표의 분류 능력을 경험적으로 검증하는 것.

제안 방법

• 이 방법은 RKHS 내의 쿠퍼만 연산자와 관련된 페르론-프로베니우스 연산자를 기반으로 한 지표를 정의하며, 쿠퍼만 역학의 선형적 구조를 활용한다.
• 커널 유도 특징 매핑을 사용하여 비선형 관측치를 힐버트 공간에 매핑함으로써, 비선형 시스템에 대해 선형 대수 연산을 가능하게 한다.
• 주성분 각도를 통해 쿠퍼만 모드가 생성하는 부분공간 간의 거리를 계산하며, 마틴의 지표와 바인넷-카시의 커널을 특수한 경우로 포함하는 일반화된 공식화를 제공한다.
• 유한 표본 추정은 커널 기반 방법을 사용해 쿠퍼만 연산자를 근사하고, 커널 행렬을 통해 거리를 계산함으로써 달성된다.
• 두 가지 변형된 지표인 $A_{g1}$과 $A_{g2}$를 도입하였으며, $A_{g2}$는 가우시안 커널을 사용할 때 더 뛰어난 성능을 보였다.
• 시간 지연 임bedding을 활용하여 일차원 시계열을 커널 기반 분석에 적합한 고차원 표현으로 확장한다.

실험 결과

연구 질문

• RQ1 쿠퍼만 연산자 이론을 활용한 RKHS에서 기존의 부분공간 기반 지표를 통합할 수 있는 일반적인 비선형 동역계를 위한 지표를 제안할 수 있는가?
• RQ2 RKHS 내의 페르론-프로베니우스 연산자를 어떻게 사용하여 유한한 데이터로부터 안정적이고 추정 가능한 비선형 역학 비교 지표를 정의할 수 있는가?
• RQ3 제안된 지표가 실세계 시계열 데이터 분류에서 기존의 커널 기반 및 스펙트럼 방법을 능가하는가?
• RQ4 커널 선택(예: 가우시안)과 지표의 차수(1차 vs. 2차)가 분류 성능에 미치는 영향은 무엇인가?
• RQ5 예를 들어 복소 평면의 단위 원판 내에서 회전하는 시스템과 같이 알려진 역학을 가진 합성 시스템에서 이 지표는 이론적 행동을 얼마나 잘 복원하는가?

주요 결과

• 가우시안 커널을 사용한 제안된 지표 $A_{g2}$는 합성 로테이션 역학에서 거의 완벽한 분류 성능을 달성하였으며, $A_{g1}$과 쿠퍼만 스펙트럼 커널 $A_{kkp}$를 능가했다.
• 작은 초기 조건($|z_0| = 0.3$)에서 $A_{g2}$는 회전하는 동역계와 선형 수렴하는 동역계를 성공적으로 분류하였고, $A_{g1}$과 $A_{kkp}$는 실패했다.
• UCR 아카이브의 실세계 시계열 데이터에서는 $A_{g1}$과 $A_{g2}$가 $A_{kkp}$보다 뛰어난 분류 성능를 보였으며, 소니 AIBO 로봇 표면 데이터셋에서 오차율은 각각 0.025와 0.038였다.
• 별의 밝기 변화 곡선 데이터셋에서 $A_{g2}$는 분류 오차율 0.150을 기록하여 $A_{kkp}$의 0.217을 능가했고, 여러 데이터셋에서 일관된 성능 향상을 보였다.
• t-SNE 시각화 결과, 특히 소니 AIBO와 별의 밝기 변화 곡선 데이터셋에서 $A_{g1}$과 $A_{g2}$는 $A_{kkp}$보다 더 잘 분리된 클러스터를 생성했다.
• 시계열 길이 $T$가 증가함에 따라 지표가 분석적 해에 수렴하는 것으로 나타나, 이의 일관성과 이론적 타당성이 검증되었다.