[論文レビュー] The NEU Meta-Algorithm for Geometric Learning with Applications in Finance

Anastasis Kratsios, Cody Hyndman|arXiv (Cornell University)|Jan 1, 2018

Machine Learning and Data Classification被引用数 1

ひとこと要約

本稿では、多様なモデルクラスにわたる普遍近似性（UAP）を保持する表現可能な特徴マップを学習する幾何学的学習フレームワークである非ユークリッドアップグレーディング（NEU）メタアルゴリズムを提案する。方向を保つホメオモルフィズムのクラスに普遍的な深層ニューラルアーキテクチャを活用することで、学習された表現が部分多様体であることを保証し、記憶化およびコンactサポートのための定量的パラメータおよび深さ要件を提供する。

ABSTRACT

Effective feature representation is key to the predictive performance of any algorithm. This paper introduces a meta-procedure, called Non-Euclidean Upgrading (NEU), which learns feature maps that are expressive enough to embed the universal approximation property (UAP) into most model classes while only outputting feature maps that preserve any model class's UAP. We show that NEU can learn any feature map with these two properties if that feature map is asymptotically deformable into the identity. We also find that the feature-representations learned by NEU are always submanifolds of the feature space. NEU's properties are derived from a new deep neural model that is universal amongst all orientation-preserving homeomorphisms on the input space. We derive qualitative and quantitative approximation guarantees for this architecture. We quantify the number of parameters required for this new architecture to memorize any set of input-output pairs while simultaneously fixing every point of the input space lying outside some compact set, and we quantify the size of this set as a function of our model's depth. Moreover, we show that no deep feed-forward network with commonly used activation function has all these properties. NEU's performance is evaluated against competing machine learning methods on various regression and dimension reduction tasks both with financial and simulated data.

研究の動機と目的

• あらゆるモデルクラスに普遍近似性（UAP）を埋め込むメタ手順を開発すること。その際、元のモデルクラスの内在的不変性を保つこと。
• 特徴マップが恒等写像に漸近的に変形可能であるような条件下で、それらを学習可能である条件を同定すること。
• 学習された表現の幾何学的構造を形式化し、それが常に特徴空間の部分多様体であることを示すこと。
• 入力-出力ペアを記憶する際、コンパクト集合の外部では点を固定する条件下で、必要なパラメータ数および深さ要件を明確に導出すること。
• 標準的な深層順方向ネットワークと一般的な活性化関数では、これらすべての性質を同時に満たせない理由を示すこと。

提案手法

• 入力空間上でのすべての方向を保つホメオモルフィズムに普遍的な深層ニューラルネットワークアーキテクチャを設計すること。
• NEUと呼ばれる特徴マップ学習手順を構築し、その結果得られる表現が特徴空間の部分多様体であることを保証すること。
• NEU下での特徴マップの学習可能性の十分条件として、恒等写像への漸近的変形を用いること。
• 定性的および定量的両形式での近似保証を導出する。これにはパラメータ数と深さ依存性を含む。
• モデルが固定されるコンパクト集合のサイズを、ネットワークの深さの関数として定式化すること。
• NEUをメタアルゴリズムとして実装し、モデルクラスの誘導的バイアスを変更せずに、さまざまなモデルクラスに適用可能であること。

実験結果

リサーチクエスチョン

• RQ1 メタアルゴリズムは、多様なモデルクラスにわたる普遍近似性（UAP）を保持する特徴マップを学習可能か？
• RQ2 特徴マップが恒等写像に漸近的に変形可能であると仮定した場合、NEUがその特徴マップを学習可能な条件は何か？
• RQ3 NEUが学習する特徴表現の幾何学的構造は何か？また、それらは部分多様体とどのように関係しているか？
• RQ4 入力-出力集合を記憶し、コンパクト集合の外部の点を固定するため、NEUが要するパラメータ数と深さはどれほどか？
• RQ5 なぜ標準的な深層順方向ネットワークと一般的な活性化関数では、NEUのすべての望ましい性質（UAPの保持、コンパクトサポートなど）を同時に満たせないのか？

主な発見

• NEUは、下位のモデルクラスにかかわらず、常に特徴空間の部分多様体である特徴マップを学習する。
• NEUが学習する特徴マップは、ターゲットモデルクラスの普遍近似性（UAP）を保証的に保持する。
• NEUの背後にあるアーキテクチャは、入力空間上でのすべての方向を保つホメオモルフィズムに普遍的であり、高い表現力を持つ。
• 記憶に必要なパラメータ数は入力-出力ペアのサイズに比例し、モデルが固定されるコンパクト集合のサイズはネットワークの深さに応じて増大する。
• 標準的な深層順方向ネットワークと一般的な活性化関数では、UAPの保持とコンパクトサポートの両方を同時に満たすことはできない。
• 金融データおよびシミュレーテッドデータにおける実験的評価では、NEUは回帰および次元削減タスクで競合手法を上回る性能を示した。