[논문 리뷰] Verifying $k$-Contraction without Computing $k$-Compounds

Omri Dalin, Ron Ofir외 4명|arXiv (Cornell University)|2022. 09. 02.

Neural Networks Stability and Synchronization인용 수 5

한 줄 요약

이 논문은 일반적으로 크기가 크고 계산 비용이 매우 높은 $k$-compound 행렬을 계산하지 않고도 비선형 시스템에서 $k$-수축성을 검증하기 위한 이중성 기반 방법을 제안한다. $k$-와 $(n-k)$-compound 간의 이중성 관계를 활용하여, 원래의 자코비안과 행렬 측도만을 사용하여 $k$-수축성에 대한 충분조건을 도출한다. 이는 $k=2$일 때 모든 유계 해가 평형점으로 수렴함을 보여주는 3차원 히프리지 네트워크에 적용되었으며, 이는 연상 기억 응용에 유용하다.

ABSTRACT

Compound matrices have found applications in many fields of science including systems and control theory. In particular, a sufficient condition for $k$-contraction is that a logarithmic norm (also called matrix measure) of the $k$-additive compound of the Jacobian is uniformly negative. However, this may be difficult to check in practice because the $k$-additive compound of an $n imes n$ matrix has dimensions $\binom{n}{k} imes \binom{n}{k}$. For an $n imes n$ matrix $A$, we prove a duality relation between the $k$ and $(n-k)$ compounds of $A$. We use this duality relation to derive a sufficient condition for $k$-contraction that does not require the computation of any $k$-compounds. We demonstrate our results by deriving a sufficient condition for $k$-contraction of an $n$-dimensional Hopfield network that does not require to compute any compounds. In particular, for $k=2$ this sufficient condition implies that the network is $2$-contracting and this implies a strong asymptotic property: every bounded solution of the network converges to an equilibrium point, that may not be unique. This is relevant, for example, when using the Hopfield network as an associative memory that stores patterns as equilibrium points of the dynamics.

연구 동기 및 목표

• $k$-compound 행렬을 통한 $k$-수축성 검증의 계산 비용 문제를 해결하기 위해, 이는 $\binom{n}{k} \times \binom{n}{k}$의 크기로 증가하기 때문이다.
• 원래의 $k$-compound를 직접 계산하지 않고도 $k$-와 $(n-k)$-compound 간의 이중성 관계를 활용하여 $k$-수축성에 대한 충분조건을 개발하기 위해.
• 표준 수축 이론이 실패하는 다중 평형점이 존재하는 시스템, 예를 들어 히프리지 신경망에 대해 이 방법을 적용하여, $k=2$-수축성이 모든 유계 해가 평형점으로 수렴함을 보여주기 위해.
• 표준 수축 이론이 실패하는 다중 안정성 시스템, 예를 들어 연상 기억 네트워크와 같은 시스템을 분석하기 위한 실용적인 도구를 제공하기 위해.

제안 방법

• 행렬 $A \in \mathbb{C}^{n \times n}$의 $k$-compound와 $(n-k)$-compound 간의 이중성 관계를 유도하여, 그들의 로그 노름 간의 연결을 설정하기 위해.
• 이중성을 활용하여 $k$-compound의 로그 노름을 원래 행렬과 그 $L_p$-노름을 통해 연산자 $\tau_{p,k}$를 통해 표현하기 위해.
• $p \in \{1,2,\infty\}$에 대해 $\tau_{p,k}(A) := \operatorname{tr}(A) + (n - 2k)\mu_{q,T}(-A)$로 정의하여, $k$-compound의 계산을 피하기 위해.
• $\mu(A^{[k]}) < 0$이면 $\tau_{p,k}(A) < 0$임을 증명하여, 복합 행렬을 계산하지 않고도 $k$-수축성 검증이 가능함을 보장하기 위해.
• 3차원 히프리지 네트워크에 이 방법을 적용하기 위해, $\tau_{p,2}(J(x)) < 0$ 및 평형점에서 $\det(J(e)) < 0$를 확인하여 $2$-수축성과 유계 궤도의 수렴성을 확인하기 위해.
• $k=2$-수축성이 존재할 경우 모든 유계 궤도가 평형점으로 수렴함을 증명하기 위해.

실험 결과

연구 질문

• RQ1 $k$-additive compound가 $n$과 $k$에 따라 조합적으로 증가하는 바, 자코비안의 $k$-compound를 계산하지 않고도 $k$-수축성을 검증할 수 있는가?
• RQ2 $k$-compound와 $(n-k)$-compound 간의 이중성 관계는 무엇이며, 이를 안정성 분석에 어떻게 활용할 수 있는가?
• RQ3 제안된 방법은 표준 수축 이론이 실패하는 다중 평형점이 존재하는 시스템, 예를 들어 히프리지 네트워크에 적용할 수 있는가?
• RQ4 새로운 $k$-수축성에 대한 충분조건이 강한 점근적 행동, 예를 들어 모든 유계 해가 평형점으로 수렴함을 의미하는가?

주요 결과

• $k$-와 $(n-k)$-compound 간의 이중성 관계를 통해 $k$-compound의 로그 노름을 원래 행렬과 그 $L_p$-노름으로 표현할 수 있으며, 이는 복합 행렬의 직접 계산을 피할 수 있다.
• 충분조건 $\tau_{p,k}(J(x)) < 0$는 $J^{[k]}(x)$를 계산하지 않더라도 $k$-수축성을 보장하며, $\tau_{p,k}(A) = \operatorname{tr}(A) + (n - 2k)\mu_{q,T}(-A)$로 정의된다.
• 3차원 히프리지 네트워크에서 $k=2$일 때, 모든 $x$에 대해 조건 $\tau_{p,2}(J(x)) < 0$가 성립함을 보여 $2$-수축성과 모든 유계 궤도의 평형점으로 수렴성을 확인하였다.
• 평형점 $e^2$는 $\det(J(e^2)) < 0$이므로 국소적으로 점근적으로 안정적이며, $e^1$은 불안정함을 보이며, 이는 수렴 결과와 일치한다.
• 이 방법을 통해 $1$-수축성이 아닌 시스템(예: 다중 안정성 시스템)을 분석할 수 있으며, $k>1$인 $k$-수축성을 통해 더 강한 점근적 행동을 포착할 수 있다.
• 이 방법은 임의의 $p \in \{1,2,\infty\}$로 일반화 가능하며, 다른 $L_p$ 노름 및 제어 합성으로의 확장 가능성이 제안된다.