[論文レビュー] Deep Learning for Functional Data Analysis with Adaptive Basis Layers

Junwen Yao, Jonas Mueller+1 more|arXiv (Cornell University)|Jun 19, 2021

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

本稿では、固定基底関数の代わりに学習可能で適応可能な基底関数をマイクロニューラルネットワークによって実装する、深層学習フレームワークである適応的機能的ニューラルネットワーク（AdaFNN）を提案する。予測タスクに特化した基底関数をエンドツーエンドで学習することで、AdaFNNは次元削減が低次元で、一般化性能が向上する機能的データ分類および回帰タスクで優れた性能を達成する。

ABSTRACT

Despite their widespread success, the application of deep neural networks to functional data remains scarce today. The infinite dimensionality of functional data means standard learning algorithms can be applied only after appropriate dimension reduction, typically achieved via basis expansions. Currently, these bases are chosen a priori without the information for the task at hand and thus may not be effective for the designated task. We instead propose to adaptively learn these bases in an end-to-end fashion. We introduce neural networks that employ a new Basis Layer whose hidden units are each basis functions themselves implemented as a micro neural network. Our architecture learns to apply parsimonious dimension reduction to functional inputs that focuses only on information relevant to the target rather than irrelevant variation in the input function. Across numerous classification/regression tasks with functional data, our method empirically outperforms other types of neural networks, and we prove that our approach is statistically consistent with low generalization error. Code is available at: \url{https://github.com/jwyyy/AdaFNN}.

研究の動機と目的

• 事前に指定された非適応的基底関数に依存する伝統的な機能的データ解析（FDA）手法の限界を解消すること。
• 下流の予測タスクに最適化されない二段階パイプライン（例：FPCA や Bスプライン基底 + ニューラルネットワーク）の非効率性を克服すること。
• 次元削減と予測を同時に最適化するように基底関数を応答変数に適応させるニューラルネットワークアーキテクチャを開発すること。
• 教師あり学習に適した機能的特徴を学習する新しいベース層を備えた、エンドツーエンドでの訓練が可能な機能的ニューラルネットワークを実現すること。
• 提案アーキテクチャの理論的一貫性および一般化誤差の境界を確立すること。

提案手法

• 各隠れユニットが小さなトレーナブルニューラルネットワーク（マイクロNN）として実装された新しいベース層（BL）を導入する。
• ベース層の出力を、入力関数 $X(t)$ の低次元でタスク固有の表現とし、応答 $Y$ に関連する変動のみを捉える。
• バックプロパゲーションによるエンドツーエンドの訓練により、勾配が基底関数を通り、予測目的に適合するように調整される。
• 正則化技術を適用：スパarsityを促進する $L_1$ ペナルティと、モデルの解釈性と一般化性能を向上させる直交基底正則化。
• 非一様にサンプリングされたデータに対しても、重み $\omega_j$ を用いた数値積分により、関数と基底関数間の内積を計算する。
• ベクトル値関数データ、複数の関数的予測子、補助予測子を、連結または個別のベース層を用いて処理できるようにフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドで学習される適応的基底関数は、固定基底関数と比較して、機能的データ解析における予測性能を向上させるか？
• RQ2 応答関連の変動にのみ焦点を当てた基底関数の学習は、一般化性能の向上とモデルの複雑さの低減に寄与するか？
• RQ3 FPCA + NN や Bスプライン + NN といった標準的なベースラインと比較して、提案された AdaFNN アーキテクチャは多様な機能的データタスクでどのように性能を発揮するか？
• RQ4 直交性と $L_1$ 正則化の影響は、学習された機能的表現の質と解釈性にどのような影響を及けるか？
• RQ5 適応的基底層は、疎に観測されたまたは非一様にサンプリングされた機能的データに対しても効果的に適用可能か？

主な発見

• AdaFNN は、実世界のデータセットにおける分類および回帰を含む9つの機能的データタスクすべてにおいて、FPCA + NN や Bスプライン + NN といったすべてのベースライン手法を上回る性能を発揮した。
• より少ない基底関数を用いる一方で、ベースラインより高い精度を達成しており、サンプル効率性と単純性の向上が示された。
• $\lambda_1 > 0$ の場合、$L_1$ ペナルティが複数のデータセットでモデル性能を向上させ、スパarsityが表現品質の向上に寄与することが示された。
• 直交正則化は、高次元の機能的入力を持つタスクにおいても一貫して性能を向上させ、相関のない情報量の多い基底を促進した。
• 最良の結果は、常に正則化を施した AdaFNN で得られており、適切なインダクティブバイアスを備えた適応的基底学習が優れた一般化性能をもたらすことを示している。
• AdaFNN は非一様にサンプリングされたデータに対しても一般化性能が高く、ただし疎に観測されたデータでは依然として挑戦的であり、マイクロNNにより強いインダクティブバイアスが必要となる可能性がある。