[논문 리뷰] A Universal Approximation Result for Difference of log-sum-exp Neural Networks

Giuseppe C. Calafiore, Stéphane Gaubert외 2명|arXiv (Cornell University)|2019. 05. 21.

Advanced Optimization Algorithms Research참고 문헌 33인용 수 49

한 줄 요약

이 논문은 Difference-LSE (DLSE) 네트워크를 도입하여 연속 함수에 대한 보편 근사 능력을 증명하고, DC형 최적화를 가능하게 하는 차감 없는(posynomial) 표현으로 매핑됨을 보이며, 데이터 기반 당뇨병 식단 설계 예제를 제시합니다.

ABSTRACT

We show that a neural network whose output is obtained as the difference of the outputs of two feedforward networks with exponential activation function in the hidden layer and logarithmic activation function in the output node (LSE networks) is a smooth universal approximator of continuous functions over convex, compact sets. By using a logarithmic transform, this class of networks maps to a family of subtraction-free ratios of generalized posynomials, which we also show to be universal approximators of positive functions over log-convex, compact subsets of the positive orthant. The main advantage of Difference-LSE networks with respect to classical feedforward neural networks is that, after a standard training phase, they provide surrogate models for design that possess a specific difference-of-convex-functions form, which makes them optimizable via relatively efficient numerical methods. In particular, by adapting an existing difference-of-convex algorithm to these models, we obtain an algorithm for performing effective optimization-based design. We illustrate the proposed approach by applying it to data-driven design of a diet for a patient with type-2 diabetes.

연구 동기 및 목표

• 디자인 과제에서 최적화가 가능하도록 대리 모형의 필요성을 동기 부여한다.
• 두 LSE 네트워크의 결합으로 Convexity 한계를 극복하기 위해 Difference-LSE 네트워크를 도입한다.
• DLSE_T와 그 유리 매개변수 변형에 의한 연속 함수의 보편 근사를 증명한다.
• 로그 변환이 DLSE_T를 일반화된 포소니얼의 차감 없는 비율로 매핑하는 방법을 보인다.
• DC 프로그래밍을 이용한 학습 및 최적화 전략을 논의하고 데이터 기반 설계 예제를 제공한다.

제안 방법

• LSE 및 LSE_T 함수와 그것들의 볼록성 성질을 정의한다.
• DLSE_T 네트워크를 두 LSE_T 네트워크의 차이로 구성한다.
• 콤팩트 볼록 도메인에서 DLSE_T의 보편 근사를 증명한다.
• 로그 변환을 통해 일반화된 포소니얼의 차감 없는 비율로의 매핑을 보인다.
• 표준 최적화 방법을 통한 학습을 시연하고 DC 프로그래밍 적용 가능성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 DLSE_T 네트워크가 컴팩트 볼록 도메인에서 임의의 연속 함수를 보편적으로 근사할 수 있는가?
• RQ2 DLSE_T 출력과 차감 없는 포소니얼 표현을 연결하는 로그 변환의 역할은 무엇인가?
• RQ3 DLSE_T 구조가 DC 프로그래밍을 통한 최적화 기반 설계를 어떻게 촉진할 수 있는가?
• RQ4 이 접근법이 제2형 당뇨병 식단 설계와 같은 실제 데이터 기반 설계 문제에 적용될 수 있는가?

주요 결과

• DLSE_T 네트워크는 볼록하고 컴팩트한 집합에서 연속 함수를 보편적으로 매끄럽게 근사한다.
• 로그 변환은 DLSE_T 출력을 차감 없는 일반화된 포소니얼의 비율로 매핑하며, 이는 로그-볼록 컴팩트 집합에서 양의 함수를 보편적으로 근사한다.
• DLSE_T 네트워크는 차감 없는 DC 친화적 구조를 활용하여 효율적인 최적화를 가능하게 한다.
• 유리 매개변수 LSE_T 결과가 보편 근사를 합리적 스킴으로 확장한다.
• 제2형 당뇨병에 대한 데이터 기반 식단 설계 예제는 실용적인 대리 설계 워크플로를 보여준다.