[論文レビュー] Verifying $k$-Contraction without Computing $k$-Compounds

Omri Dalin, Ron Ofir+4 more|arXiv (Cornell University)|Sep 2, 2022

Neural Networks Stability and Synchronization被引用数 5

ひとこと要約

本稿では、通常は巨大で計算的に困難な $k$-化合物行列を計算せずに、非線形系における $k$-収縮性を検証する双対性に基づく手法を提案する。$k$-化合物と $(n-k)$-化合物の双対性を活用することで、元のヤコビ行列と行列のノルムのみを用いて $k$-収縮性の十分条件を導出する。3次元のホープフィールドネットワークに対して適用した結果、$k=2$ のとき、すべての有界解が平衡点に収束することが示され、関連記憶応用において有用である。

ABSTRACT

Compound matrices have found applications in many fields of science including systems and control theory. In particular, a sufficient condition for $k$-contraction is that a logarithmic norm (also called matrix measure) of the $k$-additive compound of the Jacobian is uniformly negative. However, this may be difficult to check in practice because the $k$-additive compound of an $n imes n$ matrix has dimensions $\binom{n}{k} imes \binom{n}{k}$. For an $n imes n$ matrix $A$, we prove a duality relation between the $k$ and $(n-k)$ compounds of $A$. We use this duality relation to derive a sufficient condition for $k$-contraction that does not require the computation of any $k$-compounds. We demonstrate our results by deriving a sufficient condition for $k$-contraction of an $n$-dimensional Hopfield network that does not require to compute any compounds. In particular, for $k=2$ this sufficient condition implies that the network is $2$-contracting and this implies a strong asymptotic property: every bounded solution of the network converges to an equilibrium point, that may not be unique. This is relevant, for example, when using the Hopfield network as an associative memory that stores patterns as equilibrium points of the dynamics.

研究の動機と目的

• 計算的に非現実的となる $k$-化合物行列を用いた $k$-収縮性の検証を回避するため、$\binom{n}{k} \times \binom{n}{k}$ のスケーリングに起因する計算困難性に対処すること。
• 双対性に基づき、$k$-化合物の直接計算を避けてもよい $k$-収縮性の十分条件を、$k$-化合物と $(n-k)$-化合物の関係を用いて構築すること。
• ホープフィールドニューラルネットワークにこの手法を適用し、$k=2$-収縮性がすべての有界解が平衡点に収束することを示すこと。
• 標準的な収縮理論が失敗するような、多安定性を示す系（例：関連記憶ネットワーク）の解析に実用的なツールを提供すること。

提案手法

• 行列 $A \in \mathbb{C}^{n \times n}$ の $k$-化合物と $(n-k)$-化合物の間の双対関係を導出し、それらの対数的ノルムを関連付ける。
• この双対性を用いて、$k$-化合物の対数的ノルムを、元の行列とその $L_p$-ノルムを用いた演算子 $\tau_{p,k}$ を通じて表現する。
• 定義 $\tau_{p,k}(A) := \operatorname{tr}(A) + (n - 2k)\mu_{q,T}(-A)$（$p \in \{1,2,\infty\}$、$p^{-1} + q^{-1} = 1$）により、$k$-化合物の計算を回避する。
• $\mu(A^{[k]}) < 0$ がかつて $\tau_{p,k}(A) < 0$ であることと同値であることを確立し、化合物行列の計算なしに $k$-収縮性の検証が可能になる。
• 3次元ホープフィールドネットワークにこの手法を適用し、$\tau_{p,2}(J(x)) < 0$ および平衡点において $\det(J(e)) < 0$ を確認することで、$2$-収縮性と有界解の収束を裏付ける。
• $k=2$ の $k$-収縮性が、平衡点に収束するすべての有界軌道のグローバル収束を示すことを証明する。

実験結果

リサーチクエスチョン

• RQ1 $n$ や $k$ に伴い組み合わせ的に増加する $k$-加法的化合物行列の計算を避けて、$k$-収縮性を検証することは可能か？
• RQ2 行列の $k$-化合物と $(n-k)$-化合物の間にはどのような双対関係が存在し、それらを安定性解析にどのように応用できるか？
• RQ3 提案手法は、標準的な収縮理論が失敗する多平衡点系（例：ホープフィールドネットワーク）に適用可能か？
• RQ4 新規に提示された $k$-収縮性の十分条件は、すべての有界解が平衡点に収束するような強い漸近的挙動を示すか？

主な発見

• $k$-化合物と $(n-k)$-化合物の双対性により、$k$-化合物の対数的ノルムを、元の行列とその $L_p$-ノルムを用いて表現でき、化合物行列の直接計算を回避できる。
• 十分条件 $\tau_{p,k}(J(x)) < 0$ が $J^{[k]}(x)$ の計算なしに $k$-収縮性を保証する。ここで $\tau_{p,k}(A) = \operatorname{tr}(A) + (n - 2k)\mu_{q,T}(-A)$ である。
• 3次元ホープフィールドネットワーク（$k=2$）では、すべての $x$ に対して $\tau_{p,2}(J(x)) < 0$ が成り立つため、$2$-収縮性が成立し、すべての有界軌道が平衡点に収束することが示される。
• 平衡点 $e^2$ は $\det(J(e^2)) < 0$ であるため、局所的漸近安定性を示すが、$e^1$ は不安定であり、収束結果と整合的である。
• 本手法により、1-収縮性を満たさない（例：多安定系）ような系の解析が可能となり、$k>1$ の $k$-収縮性を用いることでより強い漸近的挙動を捉えることができる。
• 本手法は任意の $p \in \{1,2,\infty\}$ に一般化可能であり、他の $L_p$ ノルムへの拡張や制御合成への応用の可能性が示唆される。