[논문 리뷰] Extending Landauer's Bound from Bit Erasure to Arbitrary Computation

David H. Wolpert|arXiv (Cornell University)|2015. 08. 21.

Computability, Logic, AI Algorithms인용 수 13

한 줄 요약

이 논문은 랜도어의 원리를 비트 지우기 초과하여 임의의 계산으로 확장하기 위해 입력 상태를 기록하고 입력 의존적 계산을 가능하게 하는 메모리 시스템을 사용하는 열역학적으로 최적의 프로토콜을 도입한다. 주요 결과는 보편 튜링 기계에서 임의의 비트 문자열 σ를 계산하는 데 필요한 최소 일의 공식이다: $k_B T ln 2 \left[ \text{코르모고로프 복잡도}(\sigma) + \log(\text{σ를 계산하는 문자열의 베르누이 측도}) + \log(\text{U의 정지 확률}) \right]$, 이는 열역학과 이론적 컴퓨터 과학 사이에 공식적인 연결을 수립한다.

ABSTRACT

Recent analyses have calculated the minimal thermodynamic work required to perform a computation pi when two conditions hold: the output of pi is independent of its input (e.g., as in bit erasure); we use a physical computer C to implement pi that is specially tailored to the environment of C, i.e., to the precise distribution over C's inputs, P_0. First I extend these analyses to calculate the work required even if the output of pi depends on its input, and even if C is not used with the distribution P_0 it was tailored for. Next I show that if C will be re-used, then the minimal work to run it depends only on the logical computation pi, independent of the physical details of C. This establishes a formal identity between the thermodynamics of (re-usable) computers and theoretical computer science. I use this identity to prove that the minimal work required to compute a bit string sigma on a "general purpose computer" rather than a special purpose one, i.e., on a universal Turing machine U, is k_BT ln(2) times the sum of three terms: The Kolmogorov complexity of sigma, log of the Bernoulli measure of the set of strings that compute sigma, and log of the halting probability of U. I also prove that using C with a distribution over environments results in an unavoidable increase in the work required to run the computer, even if it is tailored to the distribution over environments. I end by using these results to relate the free energy flux incident on an organism / robot / biosphere to the maximal amount of computation that the organism / robot / biosphere can do per unit time.

연구 동기 및 목표

• 비가역적 비트 지우기에서 일반 목적의 입력 의존적 계산으로 랜도어의 경계를 일반화하기.
• 특정 입력 분포에 맞추어 설계된 물리적 컴퓨터가 다른 분포로 운영될 때 발생하는 열역학적 비용을 해결하기.
• 재사용 가능한 컴퓨터를 통해 열역학과 이론적 컴퓨터 과학 사이에 공식적인 정체성을 수립하기.
• 보편 튜링 기계 U에서 특정 비트 문자열 σ를 계산하는 데 필요한 최소 일의 양을 정량화하기.
• 자유 에너지 유량을 기반으로 생물학적 시스템의 최대 계산 속도에 대한 경계를 유도하기.

제안 방법

• 두 단계 프로토콜 도입: 첫째, 별도의 메모리 시스템에 입력 매크로상태 $v_0$ 기록; 둘째, 프로세서에서 입력 의존적 계산 $\pi(\cdot \mid v_0)$ 수행하면서 입력 의존성 유지.
• 계산 후 메모리 시스템을 복구하기 위해 냉각 과정을 사용하여 열역학적 비용 최소화.
• 재사용 가능한 컴퓨터일 경우, 물리적 컴퓨터 $\mathcal{C}$의 세부 사항과 무관하게 논리적 계산 $\pi$ 의 함수로 최소 일 정의.
• 코르모고로프 복잡도, 베르누이 측도, 정지 확률과 같은 정보 이론적 측도를 사용하여 보편 계산의 최소 일 계산.
• 쿨백-라이블러 발산과 엔트로피 분산을 사용하여 사용자 입력 분포에 대한 불확실성으로 인한 보상 정량화.
• 자유 에너지 유량과 열역학적 일 사이의 관계를 이용해 생물학적 시스템의 계산 속도에 대한 경계 유도.

실험 결과

연구 질문

• RQ1 비트 지우기 외에 다양한 입력을 다른 출력으로 매핑하는 임의의 계산 $\pi$ 를 수행하기 위해 필요한 최소 열역학적 일은 무엇인가?
• RQ2 컴퓨터가 설계된 분포 $\mathcal{P}_0$ 와 다른 분포로 사용될 경우 일 비용은 어떻게 변화하는가?
• RQ3 특수 목적 장치가 아닌 보편 튜링 기계 $U$ 에서 특정 비트 문자열 $\sigma$ 를 계산하기 위해 필요한 최소 일은 무엇인가?
• RQ4 사용자 입력 분포에 대한 불확실성은 계산의 기대 열역학적 비용에 어떻게 영향을 미치는가?
• RQ5 자유 에너지 유량은 생물학적 시스템(예: 생물체 또는 생태계 전체)의 계산 속도에 어떤 상한선을 제공하는가?

주요 결과

• 보편 튜링 기계 $U$ 에서 비트 문자열 $\sigma$ 를 계산하기 위한 최소 일은 $k_B T \ln 2 \left[ \text{코르모고로프 복잡도}(\sigma) + \log(\text{σ를 계산하는 문자열의 베르누이 측도}) + \log(\text{U의 정지 확률}) \right]$ 이며, 이는 $\sigma$ 와 무관하게 일정한 상한선으로 둘 수 있다.
• 재사용 가능한 컴퓨터를 구동하기 위해 필요한 최소 일은 물리적 컴퓨터 $\mathcal{C}$ 의 세부 사항과 무관하게 논리적 계산 $\pi$ 에만 의존하며, 이는 열역학과 이론적 컴퓨터 과학 사이에 공식적인 정체성을 수립한다.
• 설계된 분포 $\mathcal{P}_0$ 와 다른 환경 분포를 가진 환경에서 컴퓨터를 사용할 경우, 조차도 재사용하더라도 열역학적 일 비용이 피할 수 없이 증가한다.
• 사용자 입력 분포에 대한 불확실성으로 인한 기대 일 보상은 엔트로피 분산의 증가로 정량화되며, 이는 비음수이자 시간이 지남에 따라 감소하지 않는다.
• 생물학적 시스템에 입사하는 자유 에너지 유량은 그 시스템이 수행할 수 있는 계산 속도에 상한선을 제공하며, 이는 뇌 기능과 생태계 수준의 계산에 대한 함의를 지닌다.
• 계산의 노이즈는 총 열역학적 일의 양을 감소시키며, 이는 결정 품질과 계산 비용 사이의 진화적 트레이드오프 가능성에 대한 시사점을 제공한다.