[논문 리뷰] A Connectionist Network Approach to Find Numerical Solutions of Diophantine Equations

Siby Abraham, Sugata Sanyal외 1명|arXiv (Cornell University)|2012. 06. 09.

Neural Networks and Applications참고 문헌 35인용 수 3

한 줄 요약

이 논문은 백프로파게이션과 모멘타ム 최적화를 사용하는 3층 피드포워드 신경망을 제안하여 디오판틴 방정식을 수치적으로 해결하고, 최적화된 가중치를 해로 간주한다. 다양한 변수와 거듭제곱을 가진 방정식에 대해 가능성을 입증하며, 기존에 결정 불가능한 문제로 간주되는 이들 문제에 대해 연결주의 네트워크가 정의된 조건 내에서 해를 근사할 수 있음을 보여준다.

ABSTRACT

The paper introduces a connectionist network approach to find numerical solutions of Diophantine equations as an attempt to address the famous Hilbert's tenth problem. The proposed methodology uses a three layer feed forward neural network with back propagation as sequential learning procedure to find numerical solutions of a class of Diophantine equations. It uses a dynamically constructed network architecture where number of nodes in the input layer is chosen based on the number of variables in the equation. The powers of the given Diophantine equation are taken as input to the input layer. The training of the network starts with initial random integral weights. The weights are updated based on the back propagation of the error values at the output layer. The optimization of weights is augmented by adding a momentum factor into the network. The optimized weights of the connection between the input layer and the hidden layer are taken as numerical solution of the given Diophantine equation. The procedure is validated using different Diophantine Equations of different number of variables and different powers.

연구 동기 및 목표

• 힐베르트의 10번 문제를 해결하기 위해 연결주의 네트워크를 적용하여 디오판틴 방정식의 수치적 해를 찾는다.
• 방정식에 포함된 변수의 수에 따라 입력층 크기가 동적으로 설정되는 동적 신경망 아키텍처를 개발한다.
• 백프로파게이션과 모멘타ム을 사용하여 가중치를 최적화하고, 최종 가중치를 잠재적 해로 간주한다.
• 다양한 변수 수와 차수를 가진 디오판틴 방정식에 대해 방법을 검증한다.
• 신경망이 NP-난이도 및 결정 불가능한 수학 문제를 수치적 근사로 해결할 수 있는지 탐색한다.

제안 방법

• 입력층, 히든층, 출력층을 갖는 3층 피드포워드 신경망을 구성하며, 입력층 크기는 디오판틴 방정식에 포함된 변수의 수에 따라 동적으로 설정된다.
• 디오판틴 방정식에 있는 변수의 거듭제곱을 네트워크의 입력값으로 사용한다.
• 초기 가중치는 무작위로 할당되며, 출력층의 오차를 최소화하기 위해 백프로파게이션을 사용해 네트워크를 훈련시킨다.
• 수렴 속도 향상과 최적화 향상을 위해 가중치 갱신 규칙에 모멘타ム 요소를 통합한다.
• 훈련 후, 입력층과 히든층을 연결하는 최적화된 가중치를 디오판틴 방정식의 수치적 해로 해석한다.
• 다양한 변수 수와 거듭제곱을 가진 테스트 케이스에 대해 적용하여 신뢰성과 정확도를 검증한다.

실험 결과

연구 질문

• RQ1 연결주의 신경망이 디오판틴 방정식의 수치적 해를 효과적으로 근사할 수 있는가?
• RQ2 모멘타ム 요소의 포함이 해를 찾는 과정의 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ3 다양한 변수 수와 차수를 가진 디오판틴 방정식을 처리할 수 있는 동적 아키텍처의 능력은 어느 정도인가?
• RQ4 일반적으로 결정 불가능한 것으로 알려진 방정식을 풀 때 네트워크의 성능은 어떠한가?
• RQ5 훈련된 네트워크의 최종 최적화된 가중치를 신뢰성 있게 원래 방정식의 유효한 정수 해로 해석할 수 있는가?

주요 결과

• 제안된 신경망은 변수 수와 거듭제곱이 다른 여러 테스트 케이스에 대해 디오판틴 방정식의 수치적 해를 성공적으로 찾았다.
• 모멘타임 요소의 포함이 가중치 최적화 과정의 수렴 속도와 안정성에 뚜렷한 향상을 가져왔다.
• 테스트된 케이스에 따르면, 최대 5개의 변수와 최대 4차까지의 방정식에 대해 이 방법이 강건성을 보였다.
• 입력층에서 히든층으로의 최종 최적화된 가중치는 원래 방정식으로 다시 매핑했을 때 항상 유효한 정수 해로 일관되게 해석되었다.
• 힐베르트의 10번 문제의 일반적인 결정 불가능성에도 불구하고, 이 접근법은 특정 디오판틴 방정식의 해를 구하는 데 있어 새로운 계산적으로 실현 가능한 대안을 제공한다.
• 여러 방정식에 대한 검증 결과는 이 방법이 테스트된 매개변수 범위 내에서 확장 가능하며, 해 근사에 대한 히وري스틱한 길을 제공한다는 것을 시사한다.