[논문 리뷰] Tropical Polynomial Division and Neural Networks

Georgios Smyrnis, Petros Maragos|arXiv (Cornell University)|2019. 11. 29.

Polynomial and algebraic computation참고 문헌 33인용 수 8

한 줄 요약

이 논문은 최대-합 준환환계에서 수식의 뉴턴 다면체를 나누는 다항식의 근사치를 사용하여, 고전적 다항식 나눗셈의 기하학적 유사체를 도입하는 새로운 토픽스 다항식 나눗셈 방법을 제시한다. 이 방법은 두 층의 완전히 연결된 ReLU 신경망을 최소화하는 데 응용되며, 다면체가 네트워크 행동을 인코딩함으로써 원래 뉴런의 1%에서도 정확도 손실이 0.5% 미만으로 유지되며, 네트워크 정제의 강력한 잠재력을 보여준다.

ABSTRACT

In this work, we examine the process of Tropical Polynomial Division, a geometric method which seeks to emulate the division of regular polynomials, when applied to those of the max-plus semiring. This is done via the approximation of the Newton Polytope of the dividend polynomial by that of the divisor. This process is afterwards generalized and applied in the context of neural networks with ReLU activations. In particular, we make use of the intuition it provides, in order to minimize a two-layer fully connected network, trained for a binary classification problem. This method is later evaluated on a variety of experiments, demonstrating its capability to approximate a network, with minimal loss in performance.

연구 동기 및 목표

• 최대-합 준환환계에서 고전적 다항식 나눗셈의 기하학적 유사체를 개발하여, 토픽스 다항식의 구조적 근사치를 가능하게 한다.
• 뉴턴 다면체가 ReLU 신경망의 기능적 행동을 어떻게 인코딩하는지 탐구한다.
• 토픽스 다항식 나눗셈에서의 통찰을 활용하여 이중층 완전히 연결된 네트워크를 이진 분류를 위해 최소화한다.
• 모델 크기를 극적으로 줄일 때 네트워크 성능 유지를 위한 방법의 효과를 평가한다.
• 이러한 접근을 더 깊이 있는 구조와 다중 클래스 신경망 아키텍처로 일반화하기 위한 기반을 마련한다.

제안 방법

• 이 방법은 수식의 뉴턴 다면체를 나누는 다항식의 근사치를 사용하여, 최대-합 대수에서 고전적 다항식 나눗셈을 모방한다.
• 이 방법은 뉴턴 다면체가 토픽스 다항식의 조각별 선형적 구조를 완전히 특징짓는다는 사실을 활용한다. 이는 ReLU 네트워크의 활성화 영역에 해당한다.
• 알고리즘은 나누는 다항식의 다면체의 정점과 면을 나누어지는 다항식의 다면체와 정렬함으로써 기하학적 및 조합 기준을 사용하여 몫과 나머지를 계산한다.
• 이러한 근사치는 두 층의 완전히 연결된 네트워크에서 여유 있는 뉴런을 식별하는 데 사용되며, 기능적 행동을 유지하면서 정제를 가능하게 한다.
• 목표 함수(식 32)를 최소화함으로써 이 방법이 적용되며, 이는 근사 정밀도와 네트워크의 흐문함을 균형 잡는다.
• 정제 후, 근사 오차를 보완하기 위해 네트워크를 재학습시켜 성능을 미세 조정한다.

실험 결과

연구 질문

• RQ1 최대-합 준환환계에서 나누는 다항식의 뉴턴 다면체를 사용해 나누어지는 다항식의 뉴턴 다면체를 근사함으로써, 토픽스 다항식 나눗셈을 의미적으로 정의할 수 있는가?
• RQ2 토픽스 다항식의 뉴턴 다면체가 ReLU 신경망의 기능적 행동을 어느 정도까지 인코딩할 수 있는가?
• RQ3 토픽스 다항식 나눗셈에서의 기하학적 직관을 활용하여, 성능 저하를 최소화하면서 이중층 완전히 연결된 ReLU 네트워크를 효과적으로 정제할 수 있는가?
• RQ4 다양한 데이터셋과 아키텍처에서, 정제된 네트워크의 성능은 동일한 크기의 새로 학습된 네트워크와 비교하여 어떻게 되는가?
• RQ5 이 방법은 더 깊이 있는 네트워크와 다중 클래스 신경망 아키텍처로 일반화될 수 있는가?

주요 결과

• MNIST의 짝수/홀수 이진 분류 작업에서, 정제된 네트워크는 원래 뉴런 수의 1%에서 98.03%의 정확도를 유지하였으며, 전체 모델 대비 정확도 손실은 0.1%에 불과했다.
• 4/9 및 3/6 숫자 쌍에 대해, 정제된 네트워크는 원래 크기의 1%에서 99.117%의 정확도를 달성하여 전체 모델의 성능을 그대로 유지했다.
• MNIST 기반 작업에서 모든 테스트 정제 수준(최소 0.5%)에서 정확도 손실이 0.5% 미만으로 유지되어 높은 강건성을 보였다.
• 정제된 네트워크를 재학습시킴으로써 성능 향상이 이루어졌으며, 이는 근사 오차를 보완하기 위한 좋은 초기화를 제공한다는 것을 시사한다.
• 낮은 뉴런 수에서 새로 학습된 모델의 성능을 뛰어나거나 동등하게 유지하여, 효과적인 구조적 근사치를 제공한다는 것을 보여주었다.
• 짝수/홀수 작업에서 높은 내부 클래스 분산으로 인해 더 큰 컨볼루션 커널이 필요로 했으며, 이는 근사 과정에서 표현 품질의 중요성을 강조한다.