[論文レビュー] A Universal Approximation Result for Difference of log-sum-exp Neural Networks

Giuseppe C. Calafiore, Stéphane Gaubert+2 more|arXiv (Cornell University)|May 21, 2019

Advanced Optimization Algorithms Research参考文献 33被引用数 49

ひとこと要約

本論文は Difference-LSE（DLSE）ネットワークを提案し、連続関数に対する普遍近似能力を証明し、差分なしのポソミリ式（subtraction-free posynomial expressions）への写像を示してDC型最適化を可能にする。さらにデータ駆動型の糖尿病ダイエット設計の例を示す。

ABSTRACT

We show that a neural network whose output is obtained as the difference of the outputs of two feedforward networks with exponential activation function in the hidden layer and logarithmic activation function in the output node (LSE networks) is a smooth universal approximator of continuous functions over convex, compact sets. By using a logarithmic transform, this class of networks maps to a family of subtraction-free ratios of generalized posynomials, which we also show to be universal approximators of positive functions over log-convex, compact subsets of the positive orthant. The main advantage of Difference-LSE networks with respect to classical feedforward neural networks is that, after a standard training phase, they provide surrogate models for design that possess a specific difference-of-convex-functions form, which makes them optimizable via relatively efficient numerical methods. In particular, by adapting an existing difference-of-convex algorithm to these models, we obtain an algorithm for performing effective optimization-based design. We illustrate the proposed approach by applying it to data-driven design of a diet for a patient with type-2 diabetes.

研究の動機と目的

• 設計タスクで最適化に適した代理モデルの必要性を動機づける。
• 凸性の限界を克服するため、二つのLSEネットワークの組み合わせとしてDifference-LSEネットワークを導入する。
• DLSE_Tとその有理パラメータ変種による連続関数の普遍近似性を証明する。
• 対数変換がDLSE_Tを一般化ポソモリの差分なしの比へ写像することを示す。
• DCプログラミングを用いたトレーニングと最適化戦略を論じ、データ駆動設計の例を提供する。

提案手法

• LSE および LSE_T 関数とそれらの凸性特性を定義する。
• DLSE_T ネットワークを二つの LSE_T ネットワークの差として構築する。
• コンパクト凸集合上での DLSE_T の普遍近似性を証明する。
• 対数変換による一般化ポソノミーの差分なしの比への写像を示す。
• 標準的な最適化手法による学習を実証し、DCプログラミングの適用可能性を論じる。

実験結果

リサーチクエスチョン

• RQ1 DLSE_T ネットワークは、コンパクト凸領域上の任意の連続関数を普遍的に近似できるか。
• RQ2 対数変換が DLSE_T の出力を差分なしポソノミー表現と関連づける上での役割は何か。
• RQ3 DCプログラミングを通じた最適化ベースの設計を、DLSE_T 構造がどう促進できるか。
• RQ4 糖尿病2型のダイエット設計など、実データ主導の設計問題へこのアプローチを適用できるか。

主な発見

• DLSE_T ネットワークは、凸かつコンパクト集合上の連続関数を普遍的に滑らかに近似する。
• 対数変換は DLSE_T の出力を差分なしの一般化ポソノミー比へ写像し、それは対数凸なコンパクト集合上の正の関数も普遍近似する。
• DLSE_T ネットワークは、差分なしで DC フレンドリーな構造を活用することで、効率的な最適化を可能にする。
• 有理パラメータの LSE_T の結果は、普遍近似を有理スキームへ拡張する。
• タイプ2糖尿病のデータ駆動型ダイエット設計の例は、実用的な代理設計ワークフローを示す。