[論文レビュー] NEU: A Meta-Algorithm for Universal UAP-Invariant Feature Representation

Anastasis Kratsios, Cody Hyndman|arXiv (Cornell University)|Aug 31, 2018

Machine Learning and Data Classification参考文献 55被引用数 8

ひとこと要約

本稿では、普遍的近似性質（UAP）に依存しない特徴表現を学習するための新規な再構成ネットワークアーキテクチャを備えたメタアルゴリズムNEUを提案する。この手法により、特徴マップは位相的に安定的かつ恒等写像に漸近的に変形可能となる。NEUは、温度依存の重み付けスキームにより学習サンプルの再重み付けを実施し、一般化性能を向上させる。理論的保証として近似精度と記憶容量の両面が得られる。

ABSTRACT

Effective feature representation is key to the predictive performance of any algorithm. This paper introduces a meta-procedure, called Non-Euclidean Upgrading (NEU), which learns feature maps that are expressive enough to embed the universal approximation property (UAP) into most model classes while only outputting feature maps that preserve any model class's UAP. We show that NEU can learn any feature map with these two properties if that feature map is asymptotically deformable into the identity. We also find that the feature-representations learned by NEU are always submanifolds of the feature space. NEU's properties are derived from a new deep neural model that is universal amongst all orientation-preserving homeomorphisms on the input space. We derive qualitative and quantitative approximation guarantees for this architecture. We quantify the number of parameters required for this new architecture to memorize any set of input-output pairs while simultaneously fixing every point of the input space lying outside some compact set, and we quantify the size of this set as a function of our model's depth. Moreover, we show that no deep feed-forward network with commonly used activation function has all these properties. NEU's performance is evaluated against competing machine learning methods on various regression and dimension reduction tasks both with financial and simulated data.

研究の動機と目的

• 任意のモデルクラスの普遍的近似性質（UAP）を保ちつつ、学習された特徴マップによる表現力の向上を図るメタアルゴリズムの開発。
• 学習された特徴マップがUAP不変であることを保証すること、すなわち特徴変換後も合成モデルクラスが普遍的であること。
• 恒等関数への連続的学習が可能な特徴マップの設計。不要な構造的バイアスを回避する。
• 提案アーキテクチャの近似精度、パラメータ効率、記憶容量に関する理論的保証の提供。
• 金融データおよびシミュレーテッドデータを用いた回帰および次元削減タスクにおけるNEUの性能評価

提案手法

• 入力空間上の方向を保存するホメオモルフィズムのうち普遍的である再構成ネットワーク $\Phi_{\star:d}$ と呼ばれる新規な深層ニューラルアーキテクチャを導入。
• データ依存の重み $w_n^{\star,\lambda}$ を用いた重み付き損失関数により、特徴マップ $\hat{\phi}$ を学習するメタアルゴリズムを採用。この重みは損失値に基づく指数的再重み付けから導出される。
• 高温度パラメータ $\lambda > 0$ を用いて、高損失サンプルの影響を制御し、重みは $w_n^{\lambda,\hat{f}} = \frac{e^{-\lambda^{-1}L(f(x_n),\hat{f}(x_n),x_n)}}{\sum_n e^{-\lambda^{-1}L(f(x_n),\hat{f}(x_n),x_n)}}$ で定義される。
• 相対エントロピー（KLダイバージェンス）を用いた近似保証を導出し、一般化誤差をバウンドするためにギブズの不等式を適用。
• NEUが学習する特徴マップは常に特徴空間の部分多様体であることが保証され、位相的一致性が確保される。
• コンパクト集合の外ではすべての点が固定される条件下で、入出力ペアを記憶可能とする再構成ネットワークに必要なパラメータ数と深さを定量的に評価

実験結果

リサーチクエスチョン

• RQ1 任意のモデルクラスの普遍的近似性質（UAP）を保つような特徴マップを学習するメタアルゴリズムを設計可能か？
• RQ2 特徴マップが恒等関数に漸近的に変形可能であることを保証するためのアーキテクチャ的および学習的条件は何か？
• RQ3 データ依存的再重み付けは、訓練誤差とテスト誤差のギャップを最小化することで一般化性能をどのように向上させるか？
• RQ4 コンパクト集合の外で動作を固定する条件下で、任意の入出力ペアを記憶可能とする再構成ネットワークに必要な最小の深さとパラメータ数は何か？
• RQ5 一般的な活性化関数を備えた標準的な深層フィードフォワードネットワークは、UAP不変性および恒等関数への連続的学習性を満たさない場合が多いが、その程度はどの程度か？

主な発見

• NEUメタアルゴリズムは、単射的かつ次元が少なくとも $d$ 以上の特徴空間への写像を実現することで、UAP不変性を保証する。これはブロウアーの位相的制約を満たす。
• NEUが学習する特徴マップは常に特徴空間の部分多様体であるため、位相的正規性と安定性が示される。
• 再構成ネットワーク $\Phi_{\star:d}$ は $\mathbb{R}^d$ 上の方向を保存するホメオモルフィズムにおいて普遍的であり、任意の滑らかで可逆な変換をモデル化可能である。
• NEUモデルの一般化誤差は、重み付き損失期待値と一様損失期待値の差でバウンドされ、重み分布が一様事前分布と一致する場合に限り、バウンドがゼロに収束する。
• 任意の入出力ペアを記憶可能とする再構成ネットワークに必要なパラメータ数が定量的に評価され、動作が固定されないコンパクト集合のサイズはモデルの深さに比例して増加する。
• 標準的な活性化関数を備えた深層フィードフォワードネットワークは、通常UAP不変性および恒等関数への連続的学習性を満たさない