[논문 리뷰] Derivatives of Turing machines in Linear Logic

James Clift, Daniel Murfet|arXiv (Cornell University)|2018. 05. 30.

Computability, Logic, AI Algorithms참고 문헌 38인용 수 3

한 줄 요약

이 논문은 스위들어 의미론을 사용하여 선형논리 내에서 튜링 기계 인코딩의 에르하르트-레그니에르 도함수를 계산하며, 이러한 도함수들이 조건부 독립성 가정 하에 베이지안 신뢰도로 정의된 난이도 확률의 변화율을 나타낸다는 것을 보여준다. 주요 기여는 미분 선형논리와 기울기 기반 학습 간의 공식적 연결을 수립한 것으로, 튜링 기계의 도함수가 입력 불확실성에 대한 민감도를 계산한다는 것을 입증한다.

ABSTRACT

We calculate denotations under the Sweedler semantics of the Ehrhard-Regnier derivatives of various encodings of Turing machines into linear logic. We show that these derivatives calculate the rate of change of probabilities naturally arising in the Sweedler semantics of linear logic proofs. The resulting theory is applied to the problem of synthesising Turing machines by gradient descent.

연구 동기 및 목표

• 스위들어 의미론을 사용하여 선형논리 내에서 튜링 기계 인코딩의 에르하르트-레그니에르 도함수를 계산한다.
• 이 도함수가 계산적으로 의미가 있는지, 특히 불확실성 전파와의 관계에서인지 조사한다.
• 미분 선형논리와 기계 학습에서의 기울기 하강법 간의 공식적 연결을 수립한다.
• 증명의 도함수가 조건부 독립성 가정 하에 난이도 확률의 변화율을 계산한다는 것을 보여준다.
• 구조적 차이가 있음에도 불구하고 동일한 계산적 행동을 갖는 서로 다른 인코딩 방식(예: boolstep 대비 relstep)이 동일한 불확실성 전파를 유도한다는 것을 보여준다.

제안 방법

• 코프리 코알제브라를 통한 벡터 공간에서의 선형논리 증명의 해석을 위해 스위들어 의미론을 사용한다.
• 일반 증명, 특히 튜링 기계를 인코딩하는 증명에 대해 에르하르트-레그니에르 도함수 미분법을 적용한다.
• 난이도 확률을 입력 불확실성과 조건부 독립성 가정 하에 출력에 대한 베이지안 신뢰도로 정의한다.
• 테이프와 상태에 대한 분포를 사용하여 불확실성 전파를 모델링하며, 해석이 분포 공간 위의 선형 사상으로 매핑됨을 보여준다.
• 도함수 계산에서 테이프 이동과 영역별 전파를 모델링하기 위해 패치 및 필 함수를 구성한다.
• 도함수 사상과 투영 간의 다이어그램의 교환성을 증명하여, 다양한 인코딩(예: boolstep 및 relstep) 간의 일관성을 보여준다.

실험 결과

연구 질문

• RQ1 선형논리와 미분 의미론의 맥락에서 알고리즘의 도함수가 무엇을 계산하는가?
• RQ2 튜링 기계 인코딩의 도함수는 확률적 맥락에서 어떤 변화율로 해석될 수 있는가?
• RQ3 동일한 계산적 행동을 갖는 구조적으로 다른 인코딩 방식(예: boolstep 대비 relstep)이 동일한 불확실성 전파를 유도하는가?
• RQ4 선형논리 내에서 증명의 도함수를 사용하여 알고리즘 합성에서 기울기 하강법을 구현할 수 있는가?
• RQ5 이 프레임워크에서 난이도 확률을 정의하는 데 있어 조건부 독립성 가정의 역할은 무엇인가?

주요 결과

• 스위들어 의미론 하에서 선형논리 내 증명의 도함수는 난이도 확률의 변화율을 계산한다.
• 난이도 확률은 입력 불확실성과 조건부 독립성 가정 하에 출력에 대한 베이지안 신뢰도로 정의된다.
• 튜링 기계 인코딩의 도함수는 역전파에서 기울기와 유사하게 입력 분포 변화에 대한 민감도를 계산한다.
• 동일한 불확실성 전파가 boolstep 및 relstep 등 서로 다른 인코딩 방식을 통해 달성되며, 도함수 프레임워크 내의 교환 다이어그램을 통해 이를 입증하였다.
• 적절한 차원 제약 조건 하에서 boolstep 인코딩의 스텝 함수 도함수는 relstep 인코딩의 도함수와 일치한다.
• 도함수를 방향성 업데이트로 해석함으로써 이 이론은 난이도 확률 출력의 오차를 최소화하기 위한 튜링 기계 합성에 대한 기울기 하강법을 지원한다.