[논문 리뷰] A Large Deviation Principle and an Analytical Expression of the Rate Function for a Discrete Stationary Gaussian Process

Olivier Faugeras, James MacLaurin|arXiv (Cornell University)|2013. 11. 18.

Gene Regulatory Network Analysis인용 수 4

한 줄 요약

이 논문은 가우시안 상관성을 가진 시냅스 가중치를 가진 대규모 상호작용 신경망에서 궤적의 경험 측도에 대한 대편차 원리를 수립한다. 비용 함수가 유일한 전역 최소값을 가짐을 증명하며, 이는 변환된 궤적 공간 위의 정적 가우시안 측도의 영상으로서의 한계 법칙을 특성화함으로써 무한 신경망의 엄밀한 점근적 기술을 제공한다.

ABSTRACT

We study the asymptotic law of a network of interacting neurons when the number of neurons becomes infinite. Given a completely connected network of neurons in which the synaptic weights are Gaussian correlated random variables, we describe the asymptotic law of the network when the number of neurons goes to infinity. We introduce the process-level empirical measure of the trajectories of the solutions to the equations of the finite network of neurons and the averaged law (with respect to the synaptic weights) of the trajectories of the solutions to the equations of the network of neurons. The main result of this article is that the image law through the empirical measure satisfies a large deviation principle with a good rate function which is shown to have a unique global minimum. Our analysis of the rate function allows us also to characterize the limit measure as the image of a stationary Gaussian measure defined on a transformed set of trajectories.

연구 동기 및 목표

• 유한한 상호작용 신경망의 행동이 뉴런 수가 무한으로 갈 때의 점근적 행동을 분석하기 위해.
• 뉴런 궤적의 프로세스 수준 경험 측도에 대한 대편차 원리(LDP)를 유도하기 위해.
• 네트워크의 한계 법칙을 변환된 궤적 공간 위의 정적 가우시안 측도의 영상으로 특성화하기 위해.
• LDP의 비용 함수가 유일한 전역 최소화자를 가짐을 보여주어 수렴이 유일한 평형 측도로 이어짐을 보장하기 위해.

제안 방법

• 유한 네트워크 방정식의 해로부터 궤적의 프로세스 수준 경험 측도를 정의하기 위해.
• 고정된 시냅스 가중치에 대한 궤적의 평균 법칙을 도입하기 위해.
• 경험 측도 사상에 대한 평균 법칙의 영상에 대해 대편차 이론을 적용하기 위해.
• 변분 및 함수해석 기법을 사용하여 유도된 LDP의 비용 함수를 분석하기 위해.
• 비용 함수의 유일한 전역 최소화자를 변환된 궤적 공간 위의 정적 가우시안 과정의 영상으로 특성화하기 위해.
• 가우시안 과정의 구조와 상관성 성질을 이용하여 한계 측도의 명시적 형태를 도출하기 위해.

실험 결과

연구 질문

• RQ1 가우시안 시냅스 가중치를 가진 대규모 완전 연결 네트워크에서 뉴런 궤적의 경험 측도는 대편차 원리를 만족하는가?
• RQ2 네트워크 궤적의 대편차 행동을 지배하는 비용 함수의 구조는 어떠한가?
• RQ3 비용 함수가 유일한 전역 최소화자를 가지며, 이는 한계 법칙에 어떤 의미를 갖는가?
• RQ4 한계 측도는 변환에 의해 정적 가우시안 과정의 영상로 표현될 수 있는가?

주요 결과

• 경험 측도의 영상 법칙은 양호한 비용 함수를 가진 대편차 원리를 만족한다.
• 비용 함수는 유일한 전역 최소화자를 가지며, 이는 유일한 한계 측도로 수렴함을 의미한다.
• 한계 측도는 변환된 궤적 공간 위의 정적 가우시안 측도의 영상으로 특성화된다.
• 비용 함수의 구조는 해석적으로 다룰 수 있으며, 시냅스 가중치의 상관성 구조에 의해 완전히 결정된다.
• 결과는 상관성이 있는 시냅스를 가진 무한 신경망의 비자명한 점근적 기술을 제공한다.