[논문 리뷰] Proof about Weakly Universal State Contracting Networks.

Norbert Michael Mayer|arXiv (Cornell University)|2014. 11. 25.

Auction Theory and Applications인용 수 1

한 줄 요약

이 논문은 최대 특이값 Λ = 1인 반복 네트워크가 에코 상태 네트워크로 남아 있는 조건을 조사하며, 이는 이전 연구에서 요구한 Λ < 1 조건을 초월하여 이론적 결과를 확장한다. 이는 L = 1인 특정 리프시츠 연속 전이 함수에 대해 네트워크가 여전히 에코 상태 성질을 나타냄을 증명함으로써, 약한 유니버설 상태 수축 네트워크의 이론적 기반을 넓힌다.

ABSTRACT

Recurrent networks that have transfer functions that fulfill the Lipschitz continuity with L = 1, may be echo state networks if certain limitations on the recurrent connectivity are applied. Initially it has been shown that it is sufficient if the largest singular value of the recurrent connectivity Λ is smaller than 1. Here it is investigated under which it still can be shown that the network is an echo state network if Λ is equal to 1. It turns out that for certain transfer functions indeed the network is still an echo state network. This work is closely related to experimental results outlined in Mayer [2014]. 1

연구 동기 및 목표

• 표준적인 Λ < 1 요구 조건을 초월하여 반복 네트워크가 에코 상태 네트워크로 간주될 수 있는 이론적 조건을 확장하는 것.
• 특정 전이 함수에 대한 제약 조건 하에서 Λ = 1인 네트워크가 여전히 에코 상태 성질을 유지할 수 있는지 조사하는 것.
• 메이어 [2014]에서 보고한 안정성의 임계점에서 작동하는 네트워크에 대한 실험적 관찰에 대한 이론적 근거를 제공하는 것.
• Λ = 1이 still 상태 수축과 에코 상태 행동을 보장하는 전이 함수의 클래스를 규명하는 것.

제안 방법

• 리프시츠 연속성 상수 L = 1을 만족하는 전이 함수를 갖는 반복 네트워크를 분석한다.
• 반복 연결성 행렬 Λ의 최대 특이값이 1일 때 네트워크 동역학에 미치는 영향을 검토한다.
• 상태 수축과 안정성에 대한 이론적 분석을 적용하여 에코 상태 네트워크 조건을 규명한다.
• 수학적 증명을 통해 특정 전이 함수에 대해 Λ = 1이어도 네트워크가 여전히 에코 상태 성질을 유지함을 보여준다.
• 기존의 에코 상태 네트워크 이론에 기반하여 Λ = 1인 임계 경우로 이를 확장한다.
• 이론적 결과를 메이어 [2014]의 실험 결과와 비교하여 이론적 확장을 검증한다.

실험 결과

연구 질문

• RQ1 Λ = 1인 반복 네트워크가 여전히 에코 상태 네트워크로 분류될 수 있는 조건은 무엇인가?
• RQ2 Λ = 1일 때 에코 상태 행동을 허용하는 리프시츠 연속 전이 함수의 어떤 클래스가 존재하는가?
• RQ3 에코 상태 네트워크에 대한 표준적인 Λ < 1 조건을 초월하여 이론 프레임워크는 어떻게 확장되는가?
• RQ4 메이어 [2014]에서 안정성의 임계점에서 작동하는 네트워크에 대한 실험적 관찰에 대한 이론적 근거는 무엇인가?
• RQ5 반복 연결성이 임계 값 Λ = 1에 도달했을 때 상태 수축과 에코 상태 행동을 유지할 수 있는가?

주요 결과

• L = 1인 특정 리프시츠 연속 전이 함수에 대해 Λ = 1인 네트워크도 여전히 에코 상태 성질을 만족한다.
• 이론적 프레임워크는 임계 경우 Λ = 1까지 확장되었으며, 이는 에코 상태 행동이 Λ < 1에만 국한되지 않음을 입증한다.
• 이 결과는 메이어 [2014]에서 보고한 안정성의 가장자리에서 작동하는 네트워크에 대한 실험적 발견에 대한 이론적 설명을 제공한다.
• 이 연구는 최대 특이값이 반복 가중치 행렬과 같을 때에도 상태 수축 네트워크에서의 약한 유니버설리티가 달성될 수 있음을 규명한다.
• 분석은 에코 상태 성질이 Λ의 크기뿐 아니라 전이 함수의 구체적 특성에도 의존함을 확인한다.