[論文レビュー] Polynomial Regression As an Alternative to Neural Nets

Xi Cheng, Bohdan B. Khomtchouk+2 more|arXiv (Cornell University)|Jun 13, 2018

Neural Networks and Applications参考文献 22被引用数 73

ひとこと要約

実際にはニューラルネットワークは層ごとに増加する多項式次数を持つ多項式回帰として機能すると主張し、多くのデータセットにおいて多項式回帰（PR）がNNsに匹敵するか、あるいは上回ることができることを示し、polyregを実用的な代替案として提案しています。

ABSTRACT

Despite the success of neural networks (NNs), there is still a concern among many over their "black box" nature. Why do they work? Here we present a simple analytic argument that NNs are in fact essentially polynomial regression models. This view will have various implications for NNs, e.g. providing an explanation for why convergence problems arise in NNs, and it gives rough guidance on avoiding overfitting. In addition, we use this phenomenon to predict and confirm a multicollinearity property of NNs not previously reported in the literature. Most importantly, given this loose correspondence, one may choose to routinely use polynomial models instead of NNs, thus avoiding some major problems of the latter, such as having to set many tuning parameters and dealing with convergence issues. We present a number of empirical results; in each case, the accuracy of the polynomial approach matches or exceeds that of NN approaches. A many-featured, open-source software package, polyreg, is available.

研究の動機と目的

• 理論的な NN ↔ PR の対応を示し、NN が層を跨いでより高次数の多項式のように振る舞う理由を説明する。
• 層を跨いで増加する多項式次数が、NNの収束と過学習の問題を説明する。
• 多様なデータセットでPRがNNに匹敵または上回ることを実証的に示す。
• NNの代替としてPRを適用するための実践的な指針とオープンソースツール（polyreg）を提供する。
• ニューラルネットワーク文脈におけるマルチコリニアリティと正則化の含意について論じる。

提案手法

• NN活性化が多項式回帰に近似し、次数が層ごとに増加するという非形式的な数学的議論を提供する。
• Stone–Weierstrass定理を用いて活性化が多項式で近似できることを主張し、NNにPRの振る舞いをもたらす。
• ReLUを区分的多項式として分析し、区分的多項式回帰（PPR）の視点へ。
• 複数のデータセットに渡ってPR（polyreg経由）とNNを実証的に比較し、平均絶対予測誤差（MAPE）または正答率（PCC）を報告する。
• NN層間の多重共線性を分散膨張因子（VIF）で検討し、収束と正則化への含意を解釈する。

実験結果

リサーチクエスチョン

• RQ1 一般的なフィードフォワードネットワーク全体で成り立つ、具体的な NN ↔ PR の対応は存在するか。
• RQ2 NNにおいて層ごとに有効な多項式次数が増加するのか、そしてそれが学習と収束にどう影響するのか。
• RQ3 適切な多項式特徴を用いたPRは、多様なデータセットでNNの性能に匹敵するか、あるいは上回るか。
• RQ4 NN ↔ PR 見方は、ニューラルネットワークにおけるマルチコリニアリティ、収束、正則化にどんな含意をもつか。

主な発見

• NNは多項式回帰の一形態として見ることができ、近似多項式の次数は各隠れ層ごとに増加する。
• 活性化関数は多項式で近似でき、NNは実質的にPRを実装していることを意味する。ReLUは区分的多項式であり、区分的多項式回帰の解釈につながる。
• PRは、国勢調査賃金、歌の年次予測、コンクリート強度、文字認識、NYCタクシーの所要時間、森林覆蓋、MOOCs認証、Crossfitランキング、癌ゲノミクス、MNIST、政治選挙データなど、多様なデータセットでNNの性能に匹敵または上回ることがある。
• NN層のマルチコリニアリティは層深さとともに増加し、高次数PRと同様であり、収束問題を緩和するために層ごとの検査と正則化を示唆している。
• polyreg のオープンソースパッケージは、PRの実装とNNアプローチとの比較のための実用的なツールを提供します。