[論文レビュー] ReLU Regression: Complexity, Exact and Approximation Algorithms

Santanu Dey, Guanyi Wang+1 more|arXiv (Cornell University)|Oct 8, 2018

Machine Learning and Algorithms参考文献 12被引用数 4

ひとこと要約

この論文は、複雑性の観点からReLU回帰を調査し、一般にはNP困難であることを証明しているが、特徴量の数pが固定されている場合にはO(n^p)時間で解けることを示している。正確な整数プログラミングフレームワークと、数値安定性と優れた実験的性能を兼ね備えた多項式時間n-近似アルゴリズムを提案している。

ABSTRACT

Solving ReLU regression problems is similar to training a neural network with one node with ReLU activation function, which aims to fit a model where the response is related to the linear combination of input feature variables. We study the ReLU regression problem from the algorithmic complexity perspective. We show that the ReLu regression is NP-hard in general, and when the number of features $p$ is fixed, there exists an algorithm that achieves the global optimal solution in $O(n^p)$ running time. We also present an integer programming (IP) framework which can produce dual bounds and feasible upper bounds. Moreover, we present a polynomial-time iterative $n$-Approximation Algorithm, which performs well in practice as demonstrated by numerical studies and can be numerically more stable than IP solutions.

研究の動機と目的

• ReLU回帰問題のアルゴリズム的複雑性を分析すること。
• ReLU回帰を効率的に解くための正確なアルゴリズムと近似アルゴリズムを開発すること。
• 整数プログラミングフレームワークを用いて双対境界と妥当な上界を提供すること。
• 優れた実験的性能を示す数値的に安定した多項式時間近似アルゴリズムを設計すること。

提案手法

• 計算複雑性理論を用いて、一般の場合におけるReLU回帰のNP困難性を証明すること。
• 特徴量の数pが固定されている場合に、O(n^p)の時間計算量を持つ正確なアルゴリズムを開発すること。
• ReLU回帰を整数プログラミング（IP）問題として定式化し、双対境界と妥当な上界を生成すること。
• 反復的なn-近似アルゴリズムを提案し、多項式時間で実行され、数値安定性を保証すること。
• 数値的実験において近似アルゴリズムを実装・評価し、実用的性能を評価すること。
• IPフレームワークを用いて、近似解の品質を裏付ける境界を計算すること。

実験結果

リサーチクエスチョン

• RQ1 ReLU回帰問題を解く際の計算複雑性は何か？
• RQ2 特徴量の数が固定されている場合に、ReLU回帰のための正確なアルゴリズムを設計できるか？
• RQ3 整数プログラミングフレームワークは、ReLU回帰における双対境界とプライム境界を効果的に提供できるか？
• RQ4 効率的でかつ数値的に安定した多項式時間近似アルゴリズムを開発できるか？
• RQ5 実際の応用において、n-近似アルゴリズムの性能はIPベースのソリューションと比べてどうか？

主な発見

• 一般の場合、ReLU回帰はNP困難であることが示され、任意の入力サイズにおいて計算的に困難であることが確認された。
• 特徴量の数pが固定されている場合、O(n^p)の実行時間を持つ正確なアルゴリズムが存在し、低次元問題の最適解が得られる。
• 整数プログラミングフレームワークは、双対境界と妥当な上界を効果的に生成でき、解の品質評価を支援した。
• 提案されたn-近似アルゴリズムは多項式時間で実行され、数値的実験において優れた実験的性能を示した。
• n-近似アルゴリズムはIPベースのソリューションよりも数値的により安定しており、実世界の応用において実用的利点を有した。
• 近似アルゴリズムは、ある仮定の下では最悪ケースにおいて最適な近似比nを達成した。