[論文レビュー] Rational approximation and its application to improving deep learning classifiers

Vinesha Peiris, Nir Sharon+1 more|arXiv (Cornell University)|Feb 26, 2020

Sparse and Compressive Sensing Techniques参考文献 35被引用数 8

ひとこと要約

本稿では、原始信号を有理関数のパラメータに置き換えることで、深層学習分類器の性能を向上させる、準凸最適化に基づく有理関数近似手法を提案する。有理関数の柔軟性を活かして滑らかでない・リプシッツでない信号を、多項式やスプラインよりも効果的にモデル化できるため、分類精度が最大95%にまで向上し、原始データ入力よりも顕著に優れている。

ABSTRACT

A rational approximation by a ratio of polynomial functions is a flexible alternative to polynomial approximation. In particular, rational functions exhibit accurate estimations to nonsmooth and non- Lipschitz functions, where polynomial approximations are not efficient. We prove that the optimisation problems appearing in the best uniform rational approximation are quasiconvex, and show how to use this fact for calculating the best approximation in a fast and efficient method. The paper presents a theoretical study of the arising optimisation problems and provides results of several numerical experiments. In all our computations, the algorithms terminated at optimal solutions. We apply our approximation as a preprocess step to deep learning classifiers and demonstrate that the classification accuracy is significantly improved compared to the classification of the raw signals.

研究の動機と目的

• 滑らかでない・リプシッツでない関数をチェビシェフノルムで有理関数近似するための、効率的かつ高精度な手法の開発。
• 不規則な関数に対して振動や数値的不安定性を引き起こす、多項式およびフリー・ノードスプライン近似の限界を克服すること。
• 原始信号を有理関数近似パラメータで事前処理することで、原始データを直接使用するのではなく、深層学習分類性能を向上させること。
• 準凸最適化が、有理関数近似問題におけるグローバル収束性と高精度解の達成を可能にすることを示すこと。
• 複雑な信号表現のための優れた代替手段として、有理関数を用いた区分的多項式近似の先行研究を拡張すること。

提案手法

• チェビシェフ（一様）ノルムにおける有理関数近似問題を、準凸最適化問題として定式化し、グローバル収束性を保証する。
• 分母の先頭係数を固定（1に設定）することで、パラメータ空間を縮小し、自明な解を回避する。
• 準凸構造を活用した数値アルゴリズムを適用し、最良の一様有理関数近似を効率的に計算する。
• 原始入力信号を、有理関数近似パラメータの少数（例：5または6特徴）に変換し、その後に深層ニューラルネットワークに供給する。
• ReLUまたはアイデンティティ/タンヘット活性化関数を用いた深層学習モデルを、近似された特徴量ではなく原始データ上で訓練し、分類性能を向上させる。
• ネットワークアーキテクチャ（1層および2層の隠れ層）やノード数の変化を想定して性能を評価し、妥当性およびスケーラビリティを検証する。

実験結果

リサーチクエスチョン

• RQ1 準凸最適化が、グローバル収束性と高精度を保証する有理関数近似問題に効果的に適用可能か？
• RQ2 滑らかでない信号における深層学習分類器の精度向上に関して、有理関数近似は多項式やスプラインベースの事前処理と比べてどのように優れているか？
• RQ3 5–6個程度の最小限の有理関数パラメータが、高次元の原始信号を置き換えるにあたり、識別力の損失なしにどの程度有効か？
• RQ4 原始データや区分的多項式近似と比較して、有理関数の使用がバイオメディカル信号の分類精度を顕著に向上させるか？
• RQ5 提案手法は、計算効率を維持しつつ、既存の事前処理技術を上回る精度を達成できるか？

主な発見

• 提案された有理関数近似手法は、深層学習モデルで最大95%の分類精度を達成し、ベースラインの原始データアプローチ（65%精度）を著しく上回った。
• 1層の隠れ層構成では、M1モデル（5特徴）が2ノードで90%の精度を達成し、M2モデル（6特徴）が8ノードで85%の精度を達成した。両者とも65%のベースラインを上回った。
• 2層の隠れ層では、M1モデルが8ノードで90%の精度、M2モデルが9または10ノードで85%の精度を達成し、原始データ（65%精度）に対する一貫した改善が確認された。
• アイデンティティ活性化（非デフォルト）の使用により、1層モデルの精度が95%まで上昇した。これは、特徴量が適切に構築されていれば、非線形性が必ずしも必要でないことを示している。
• M1モデル（5特徴）はM2モデル（6特徴）よりもパラメータ数が少なく、精度および計算効率の両面で一貫して優れていた。これは、単純なモデルの利点を支持する。
• すべての数値実験が、必要十分な最適性条件を満たす最適解に収束した。準凸最適化フレームワークの堅牢性が裏付けられた。