[논문 리뷰] Extending Landauer's Bound to Arbitrary Computation

David H. Wolpert|arXiv (Cornell University)|2015. 08. 21.

Computability, Logic, AI Algorithms인용 수 2

한 줄 요약

이 논문은 Landauer 원리의 범위를 임의의 계산으로 확장하여, 재사용 가능한 컴퓨터의 최소 열역학적 일은 물리적 구현 방식과는 무관하고 오직 논리적 계산에만 의존함을 보여준다. 이는 보편 계산의 하한을 k_BT ln(2)와 곱한 값으로 유도하며, 이 값은 콜모고로프 복잡도, 입력 문자열의 로그-베르누이 측도, 정지 확률의 합과 관련이 있다. 이는 열역학과 알고리즘 정보이론을 연결한다.

ABSTRACT

Recent analyses have calculated the minimal thermodynamic work required to perform a computation pi when two conditions hold: the output of pi is independent of its input (e.g., as in bit erasure); we use a physical C to implement pi that is specially tailored to the environment of C, i.e., to the precise distribution over C's inputs, P_0. First I extend these analyses to calculate the work required even if the output of pi depends on its input, and even if C is not used with the distribution P_0 it was tailored for. Next I show that if C will be re-used, then the minimal work to run it depends only on the logical computation pi, independent of the physical details of C. This establishes a formal identity between the thermodynamics of (re-usable) computers and theoretical science. I use this identity to prove that the minimal work required to compute a bit string sigma on a general purpose computer rather than a special purpose one, i.e., on a universal Turing machine U, is k_BT ln(2) times the sum of three terms: The Kolmogorov complexity of sigma, log of the Bernoulli measure of the set of strings that compute sigma, and log of the halting probability of U. I also prove that using C with a distribution over environments results in an unavoidable increase in the work required to run the computer, even if it is tailored to the distribution over environments. I end by using these results to relate the free energy flux incident on an organism / robot / biosphere to the maximal amount of computation that the organism / robot / biosphere can do per unit time.

연구 동기 및 목표

• 비가역적 연산(비트 지우기 등)을 초월하여 Landauer의 하한을 임의의 계산으로 일반화하기 위해.
• 컴퓨터가 설계된 분포와 다른 입력 분포를 사용할 경우의 열역학적 비용을 분석하기 위해.
• 재사용 가능한 컴퓨터의 경우 최소 일은 물리적 세부 사항과는 무관하고 오직 논리적 계산에만 의존함을 입증하기 위해.
• 보편 튜링 기계 계산의 최소 일에 대한 하한을 알고리즘 복잡도와 정지 확률의 관점에서 유도하기 위해.
• 생물학적 및 인공 시스템에서의 자유 에너지 유입률을 그 최대 계산 용량과 연결하기 위해.

제안 방법

• 이전의 계산에 대한 열역학적 분석을 확장하여, 출력이 입력에 의존하고 컴퓨터가 설계된 분포와 다른 입력 분포를 사용하는 경우를 다루기 위해.
• 재사용 가능한 컴퓨터의 열역학과 이론 과학 간의 형식적 유사성을 활용하여 일의 하한을 유도하기 위해.
• 특히 콜모고로프 복잡도와 보편 튜링 기계의 정지 확률을 포함한 알고리즘 정보이론을 적용하기 위해.
• 보편 기계에서 비트 문자열 σ를 계산하기 위한 최소 일은 k_BT ln(2)와 세 항의 합의 곱으로 유도된다: K(σ), σ를 계산하는 문자열 집합의 베르누이 측도의 로그, U의 정지 확률의 로그.
• 컴퓨터가 설계된 분포와 다른 환경에 대한 분포를 사용할 경우 발생하는 피할 수 없는 일의 증가를 분석하기 위해.
• 유도된 하한을 활용하여 생물권, 생물, 로봇에서의 입사 자유 에너지 유입률과 최대 계산 처리량 간의 관계를 규명하기 위해.

실험 결과

연구 질문

• RQ1 출력이 입력에 의존하고 컴퓨터가 설계된 분포와 다른 입력 분포를 사용할 경우, 임의의 계산을 수행하기 위한 최소 열역학적 일은 얼마인가?
• RQ2 물리적 컴퓨터의 재사용성은 그 물리적 구현 방식과 무관하게 최소로 요구되는 일에 어떤 영향을 미치는가?
• RQ3 보편 튜링 기계에서 비트 문자열 σ를 계산하기 위한 최소 일의 하한은 무엇이며, 알고리즘 복잡도와 정지 확률과 어떻게 관련되는가?
• RQ4 컴퓨터를 설계된 분포와 다른 환경 분포를 가진 상태에서 사용할 경우 최소로 요구되는 일은 어떻게 증가하는가?
• RQ5 입사 자유 에너지 유입률이 주어졌을 때, 생태계, 생물 또는 로봇이 단위 시간당 수행할 수 있는 최대 계산의 양은 얼마인가?

주요 결과

• 보편 튜링 기계에서 비트 문자열 σ를 계산하기 위한 최소 일은 k_BT ln(2)와 세 항의 합의 곱으로 주어진다: σ의 콜모고로프 복잡도, σ를 계산하는 문자열 집합의 베르누이 측도의 로그, 보편 기계의 정지 확률의 로그.
• 재사용 가능한 컴퓨터의 경우 최소 열역학적 일은 수행된 논리적 계산에만 의존하며, 컴퓨터의 물리적 세부 사항과는 무관하다.
• 컴퓨터를 설계된 분포와 다른 환경 분포를 가진 상태에서 사용할 경우, 최소로 요구되는 일은 피할 수 없이 증가한다.
• 계산의 열역학적 비용은 특히 보편 튜링 기계의 정지 확률을 통해 알고리즘 정보이론과 깊이 연결되어 있다.
• 시스템에 입사하는 자유 에너지 유입률은 그 시스템이 단위 시간당 수행할 수 있는 최대 계산의 양에 대한 본질적인 상한을 설정한다.