[論文レビュー] Optimal Input Gain: All You Need to Supercharge a Feed-Forward Neural Network

Chinmay Rane, Kanishka Tyagi+3 more|arXiv (Cornell University)|Mar 30, 2023

Machine Learning and ELM被引用数 8

ひとこと要約

この論文は最適入力ゲイン（OIG）アイデアを隠れた重み最適化（HWO）と統合することでOIG-HWOを作成し、勾配法の学習を強化し、低計算量でLMに匹敵する性能を発揮し、直線的依存入力に対して頑健であることを示す。

ABSTRACT

Linear transformation of the inputs alters the training performance of feed-forward networks that are otherwise equivalent. However, most linear transforms are viewed as a pre-processing operation separate from the actual training. Starting from equivalent networks, it is shown that pre-processing inputs using linear transformation are equivalent to multiplying the negative gradient matrix with an autocorrelation matrix per training iteration. Second order method is proposed to find the autocorrelation matrix that maximizes learning in a given iteration. When the autocorrelation matrix is diagonal, the method optimizes input gains. This optimal input gain (OIG) approach is used to improve two first-order two-stage training algorithms, namely back-propagation (BP) and hidden weight optimization (HWO), which alternately update the input weights and solve linear equations for output weights. Results show that the proposed OIG approach greatly enhances the performance of the first-order algorithms, often allowing them to rival the popular Levenberg-Marquardt approach with far less computation. It is shown that HWO is equivalent to BP with Whitening transformation applied to the inputs. HWO effectively combines Whitening transformation with learning. Thus, OIG improved HWO could be a significant building block to more complex deep learning architectures.

研究の動機と目的

• 固定アーキテクチャのMLPを1つの隠れ層で高速かつ効果的に訓練する動機づけ。
• 線形入力変換が訓練に与える影響と、それをより良く学習するための最適化方法を探る。
• OIG-HWOアルゴリズムを開発・分析し、一階微分の学習方法を改善。
• 直線的依存入力に対処し、HWO統合による解決策を提案。
• OIG-HWOをより複雑な深層学習アーキテクチャのビルディングブロックとして位置づける。

提案手法

• 線形入力変換の影響を、入力自己相関行列R_iによって負の勾配を変換することとしてモデル化。
• Gauss-Newton／Hessian近似を用いてゲインr(n)を解くことで最適入力ゲイン（OIG）を導出。
• OIGをOWO-BPと統合してOIG-BPを作成し、BPをHWOに置換してOIG-HWOを形成し、入力依存性に対する頑健性を確保。
• OIG-HWOはOWOと組み合わせるとホワイトニング風の学習に還元されることを示す。

Figure 1: Single hidden layer fully connected MLP

実験結果

リサーチクエスチョン

• RQ1 最適入力ゲインは、1階のMLP学習法（BP、OWO-BP）の収束と性能を改善できるのか。
• RQ2 HWOを組み込むと、OIGフレームワークにおける直線的依存入力に対する頑健性はどうなるのか。
• RQ3 対角線（入力ごと）ゲインが訓練の効率と精度に与える影響は何か。
• RQ4 OIG-HWOはより複雑な深層学習アーキテクチャの実用的なビルディングブロックになり得るか。

主な発見

• OIGは一階微分学習法を大きく強化し、多くの場合Levenberg–Marquardtと対等以上の性能を、はるかに低い計算量で実現する。
• HWOは直線的依存入力に対する免疫力を提供し、OIGとの統合（OIG-HWO）は依存性下でも性能を保持または向上させる。
• OIG-HWOはホワイトニングと勾配ベースの更新を効果的に組み合わせ、浅いネットワークでの頑健な学習を可能にする。
• BPをOIG-BP内でHWOに置換すると、依存入力を検出して無視するアルゴリズムとなる。
• k分割交差検証と標準的なネットを用いた近似と分類タスクで、訓練と一般化性能の改善を示す。
• OIG-HWOフレームワークは、広範なアーキテクチャの浅い学習モジュールのスケーラブルで高速な構築ブロックを示唆する。

Figure 2: Immunity of OIG-HWO to linearly dependent inputs