[論文レビュー] Non-linear Functional Modeling using Neural Networks

Aniruddha Rajendra Rao, Matthew Reimherr|arXiv (Cornell University)|Apr 19, 2021

Neural Networks and Applications被引用数 6

ひとこと要約

本稿では、スカラー応答を持つ非線形関数的回帰のための2つの新しいニューラルネットワークフレームワーク—関数的直接ニューラルネットワーク（FDNN）および関数的基底ニューラルネットワーク（FBNN）—を提案する。連続的な隠れ層と関数的データ構造を活用することで、従来の手法に比べて複雑な非線形設定において優れた性能を示し、分光計測、成長曲線、フォネムデータセットを含む実世界のデータにおいても高い精度を達成した。

ABSTRACT

We introduce a new class of non-linear models for functional data based on neural networks. Deep learning has been very successful in non-linear modeling, but there has been little work done in the functional data setting. We propose two variations of our framework: a functional neural network with continuous hidden layers, called the Functional Direct Neural Network (FDNN), and a second version that utilizes basis expansions and continuous hidden layers, called the Functional Basis Neural Network (FBNN). Both are designed explicitly to exploit the structure inherent in functional data. To fit these models we derive a functional gradient based optimization algorithm. The effectiveness of the proposed methods in handling complex functional models is demonstrated by comprehensive simulation studies and real data examples.

研究の動機と目的

• 関数的データ解析におけるディープラーニングの応用が不足している現状に応えること。特に非線形スカラー・オン・ファンクション回帰の分野における応用を目的とする。
• CAM、単一／複数インデックスモデル、二次モデルといった既存のモデルが制限された構造を仮定しており、複雑な相互作用や非線形性を捉えられないという限界を克服すること。
• 固定の基底展開やきついパラメトリック形式を仮定せずに、関数的データの連続的性質を活用する柔軟なディープラーニングベースのフレームワークを構築すること。
• 時間的依存性が複雑で、スカラー応答との非線形関係を示す関数的予測子を効果的にモデル化できること。
• 研究者が関数的データにディープラーニングを実用的かつ体系的に応用できる手法を提供すること。特に不規則または高密度のサンプリングが行われる状況を想定する。

提案手法

• 関数的直接ニューラルネットワーク（FDNN）を提案。関数的予測子を基底展開なしに、連続的なニューロンを有する連続的隠れ層を用いて直接モデル化する。
• 関数的基底ニューラルネットワーク（FBNN）を導入。Bスプラインなどの基底展開と連続的隠れ層を組み合わせることで、柔軟性を高め、不規則にサンプリングされたデータに対応できる。
• 関数的データの無限次元性を考慮した、関数的勾配に基づく最適化アルゴリズムを設計し、モデルの学習を実現する。
• 連続的隠れ層における活性化関数を用いて、関数的予測子とスカラー応答の間の非線形関係をモデル化する。
• 過学習を防ぐために正則化とチューニング戦略を組み込み、特に高次元の関数的空間において有効に機能するようにする。
• 密なサンプリングおよび不規則なサンプリングの両方の関数的データにモデルを適用。FBNNは、基底選択と補完の質に依存して性能を発揮する。

Figure 1: The architecture of a FNN with two functional neurons in the first layer and two numerical neurons in the second layer.

実験結果

リサーチクエスチョン

• RQ1 スカラー忦答を持つ関数的データにおける非線形関係を、ディープニューラルネットワークが効果的にモデル化できるか。
• RQ2 FDNNおよびFBNNは、従来の関数的回帰モデル（例：CAM、単一インデックス、二次モデル）に比べて、複雑な非線形パターンや相互作用をどれほど正確に捉えられるか。
• RQ3 FDNNがFBNNを上回る状況、逆にFBNNが優位となる状況は、どのような点で生じるのか。特にデータの密度やサンプリングの不規則性に注目する。
• RQ4 これらのモデルは、未知の複雑な構造を有する実世界の関数的データに、どの程度一般化できるか。
• RQ5 関数的ディープラーニングモデルは、最小限のチューニングで実用的かつ体系的に応用可能であり、多様なデータタイプにわたって高い性能を発揮できるか。

主な発見

• 分光計測による脂肪含有量予測タスクにおいて、FDNNとFBNNはFLLM、CAM、標準的なニューラルネットワークに比べて顕著に優れた性能を示し、テストRMSEはそれぞれ0.822および1.197を達成した。
• バークレーの成長曲線データでは、FDNNおよびFBNNは分類誤差0.100を達成し、FLLM（0.150）およびCAM（0.150）を上回った。これは性別分類において優れた性能を示している。
• フォネム分類タスクでは、FDNNとFBNNは分類誤差0.156および0.160をそれぞれ達成し、FLLM（0.187）およびCAM（0.231）を下回った。これは優れた一般化性能を示している。
• 従来のモデルが構造的仮定により失敗する複雑な非線形設定において、これらのモデルは優れたロバストネスを示し、浅いアーキテクチャでも安定した性能を発揮した。
• FDNNは、直接的なモデリングアプローチと少ないチューニング要件のおかげで、密で規則的なサンプリングデータにおいて最も優れた性能を発揮する。一方、FBNNは不規則なデータに対してより高い柔軟性を提供するが、基底選択と補完の質に依存する。
• 関数的勾配に基づく最適化アルゴリズムは、関数的データ上でモデルを効果的に学習可能であり、多様なデータセットにおいて収束性と安定した性能を実現した。

Figure 2: General architecture for our proposed approach with multiple continuous hidden layers.