[논문 리뷰] The Synthesis and Analysis of Stochastic Switching Circuits

Hongchao Zhou, Po‐Ling Loh외 1명|arXiv (Cornell University)|2012. 09. 04.

DNA and Biological Computing참고 문헌 15인용 수 9

한 줄 요약

이 논문은 유리수 확률을 가진 pswitches를 사용한 스토하스틱 스위칭 회로의 강건성, 표현 가능성 및 근사화를 조사한다. 간단한 병렬-직렬(simple series-parallel, ssp) 회로는 소규모 오차 편향에 대해 강건함을 증명하며, 일반적인 병렬-직렬 회로는 그렇지 않음을 보이며, q가 2 또는 3의 배수일 경우 ssp 회로가 분모가 $ q^n $인 모든 유리수 확률을 합성할 수 있음을 규명한다. 반면 q가 3보다 큰 소수일 경우 그러한 합성은 불가능하다. 또한, 회로 크기가 증가함에 따라 오차가 지수적으로 감소하는, 탐욕적 국소 최적화 알고리즘을 제안한다.

ABSTRACT

Stochastic switching circuits are relay circuits that consist of stochastic switches called pswitches. The study of stochastic switching circuits has widespread applications in many fields of computer science, neuroscience, and biochemistry. In this paper, we discuss several properties of stochastic switching circuits, including robustness, expressibility, and probability approximation. First, we study the robustness, namely, the effect caused by introducing an error of size εto each pswitch in a stochastic circuit. We analyze two constructions and prove that simple series-parallel circuits are robust to small error perturbations, while general series-parallel circuits are not. Specifically, the total error introduced by perturbations of size less than εis bounded by a constant multiple of εin a simple series-parallel circuit, independent of the size of the circuit. Next, we study the expressibility of stochastic switching circuits: Given an integer q and a pswitch set S=\{\frac{1}{q},\frac{2}{q},...,\frac{q-1}{q}\}, can we synthesize any rational probability with denominator q^n (for arbitrary n) with a simple series-parallel stochastic switching circuit? We generalize previous results and prove that when q is a multiple of 2 or 3, the answer is yes. We also show that when q is a prime number larger than 3, the answer is no. Probability approximation is studied for a general case of an arbitrary pswitch set S=\{s_1,s_2,...,s_{|S|}\}. In this case, we propose an algorithm based on local optimization to approximate any desired probability. The analysis reveals that the approximation error of a switching circuit decreases exponentially with an increasing circuit size.

연구 동기 및 목표

• pswitch 확률에 대한 소규모 오차 편향 하에서 스토하스틱 스위칭 회로의 강건성을 분석하는 것.
• 주어진 pswitch 집합 $ S = \{\frac{1}{q}, \frac{2}{q}, \dots, \frac{q-1}{q}\} $ 을 사용하여 단순 병렬-직렬(simple series-parallel, ssp) 회로로 정확하게 합성할 수 있는 확률의 집합을 규명하는 것.
• 최소한의 회로 크기와 낮은 오차로 임의의 목표 확률을 근사하기 위한 효율적인 알고리즘을 개발하는 것.
• ssp 회로가 고정밀도 확률 합성 또는 근사화를 달성할 수 있는 조건을 이해하는 것.

제안 방법

• 개별 pswitch 편향 크기가 $ \epsilon $일 때의 오차 전파를 분석하여, 총 오차가 회로 크와 무관하게 $ \epsilon $의 상수배로 유한하게 유지됨을 보여주는, ssp 회로의 오차 경계를 설정한다.
• 귀납법과 재귀적 회로 조합을 사용하여, q가 2 또는 3의 배수일 경우 ssp 회로가 $ \frac{a}{q^n} $ 형태의 모든 유리수 확률을 실현할 수 있음을 증명한다. 이는 회로의 닫힘 확률 $ P(C) $ 의 폐쇄성에 기반한다.
• 각 단계에서 근사 오차를 최소화하기 위해 두 개의 pswitch를 동시에 삽입하는 탐욕적 국소 최적화 알고리즘을 제안하며, 삽입 규칙은 현재 확률 추정치와 pswitch 집합 $ S $ 에 기반한다.
• 재귀적 오차 함수를 사용하여 근사 오차의 상한을 유도하며, 특히 $ m=2 $ 삽입의 경우 회로 크기 $ n $ 증가에 따라 오차가 지수적으로 감소함을 보인다.
• 특정 사례인 $ S = \{\frac{1}{5}, \frac{2}{5}, \frac{3}{5}, \frac{4}{5}\} $ 에 적용하여, 5개의 pswitch를 사용한 회로가 $ \left| \frac{3}{7} - 0.4278 \right| = 7.3 \times 10^{-4} $ 의 오차로 $ \frac{3}{7} $ 을 근사함을 보여주며, 알고리즘의 높은 정확도를 확인한다.
• 수학적 귀납법과 케이스 분석을 사용하여, 단계당 오차 감소 요소가 $ \Delta(1 - \Delta) $ 이하임을 증명하며, 여기서 $ \Delta = \frac{1}{q} $ 이다. 이는 오차의 지수적 감소를 이끈다.

실험 결과

연구 질문

• RQ1 스토하스틱 스위칭 회로가 pswitch 확률의 소규모 편향에 대해 어떤 조건에서 강건한가?
• RQ2 주어진 pswitch 집합 $ S = \{\frac{1}{q}, \frac{2}{q}, \dots, \frac{q-1}{q}\} $ 에 대해, 단순 병렬-직렬 회로로 정확하게 합성할 수 있는 유리수 확률은 무엇인가?
• RQ3 일반적인 pswitch 집합을 사용하여 임의의 목표 확률을 낮은 오차와 낮은 회로 복잡도로 근사할 수 있는가?
• RQ4 탐욕적 구축 알고리즘을 사용할 경우, 근사 오차는 회로 크기에 따라 어떻게 변화하는가?
• RQ5 임의의 pswitch 집합에 대해 스토하스틱 스위칭 회로의 근사 정확도에 대한 이론적 한계는 무엇인가?

주요 결과

• 간단한 병렬-직렬(simple series-parallel, ssp) 회로는 소규모 오차 편향에 대해 강건하다: 개별 pswitch 오차 크기가 $ \epsilon $일 때 유도되는 총 오차는 회로 크와 무관하게 $ \epsilon $ 의 상수배로 유한하게 유지된다.
• 일반적인 병렬-직렬 회로는 강건하지 않다. 소규모 개별 편향에도 불구하고 오차가 회로 크가 증가함에 따라 누적되고 증가할 수 있다.
• q가 2 또는 3의 배수일 경우, $ S = \{\frac{1}{q}, \frac{2}{q}, \dots, \frac{q-1}{q}\} $ 에서 pswitch를 사용한 ssp 회로로 분모가 $ q^n $ 인 모든 유리수 확률 $ \frac{a}{q^n} $ 을 정확히 합성할 수 있다.
• q가 3보다 큰 소수일 경우, 그러한 확률을 모두 합성할 수 없으며, 이는 표현 가능성에 대한 본질적인 제약를 시사한다.
• m=2 삽입을 사용하는 탐욕 알고리즘은 근사 오차 상한으로 $ \frac{\Delta}{2} \left( \Delta(1 - \Delta) \right)^{\lceil n/2 \rceil - 1} $ 을 제공하며, 이는 회로 크기 $ n $ 증가에 따라 오차가 지수적으로 감소함을 보여준다.
• 구체적인 사례인 $ S = \{\frac{1}{5}, \frac{2}{5}, \frac{3}{5}, \frac{4}{5}\} $ 에서, 5개의 pswitch를 사용한 회로가 $ \frac{3}{7} $ 을 $ 7.3 \times 10^{-4} $ 의 오차로 근사함을 확인하여 알고리즘의 높은 정확도를 입증한다.