[論文レビュー] Convex Programming for Estimation in Nonlinear Recurrent Models

Sohail Bahmani, Justin Romberg|arXiv (Cornell University)|Jan 1, 2020

Model Reduction and Neural Networks被引用数 1

ひとこと要約

本稿では、再帰的ニューラルネットワークを特別な場合として含む非線形再帰的モデルにおける推定のための凸プログラミング定式化を提案する。安定性および正則性の条件下では、導出された標本複雑度を伴い、一貫性を持つ推定量が得られ、緩い仮定のもとでも妥当性を示すシミュレーションにより検証されている。

ABSTRACT

We propose a formulation for nonlinear recurrent models that includes simple parametric models of recurrent neural networks as a special case. The proposed formulation leads to a natural estimator in the form of a convex program. We provide a sample complexity for this estimator in the case of stable dynamics, where the nonlinear recursion has a certain contraction property, and under certain regularity conditions on the input distribution. We evaluate the performance of the estimator by simulation on synthetic data. These numerical experiments also suggest the extent at which the imposed theoretical assumptions may be relaxed.

研究の動機と目的

• 非線形再帰的モデル、特に再帰的ニューラルネットワークを含む統一的な推定フレームワークの開発。
• 安定性および正則性の条件下で凸最適化を用いて推定量の一貫性を保証すること。
• 安定な力学系における提案された推定量の理論的標本複雑度境界の導出。
• 合成データ上の推定量の性能評価および理論的仮定の頑健性の検証。

提案手法

• グローバル最適性と取り扱いやすさを保証するため、推定問題を凸計画問題として定式化する。
• 非線形再帰の収縮性を利用し、安定性および収束性を保証する。
• 推定量の統計的一致性を保証するため、入力分布に対する正則性条件を用いる。
• パラメトリックな再帰的ニューラルネットワークモデルをフレームワーク内に埋め込むために、凸緩和技術を適用する。
• モデルの動的挙動が収縮条件を満たすことを保証するパラメータ空間上で最適化を行う。
• 凸制約を課した経験的リスク最小化を用い、再帰的モデルの構造的性質を強制する。

実験結果

リサーチクエスチョン

• RQ1 理論的保証を伴う非線形再帰的モデルのパラメータ推定のための凸最適化フレームワークを設計可能か？
• RQ2 安定な力学系における推定量の標本複雑度境界はどのように導出可能か？
• RQ3 収縮性や入力正則性といった理論的仮定が、実際の推定量の性能にどのように影響を与えるか？
• RQ4 推定精度を維持しつつ、仮定をどの程度緩和できるか？

主な発見

• 提示された推定量は、想定された安定性および正則性の条件下で一貫性を示し、導出された標本複雑度境界を有する。
• 合成データ上のシミュレーションにより、理論的仮定のわずかな違反に対しても推定量の頑健性が確認された。
• 凸定式化により、非線形再帰的モデルにおける効率的かつグローバルに最適なパrameter推定が可能になった。
• 標準的な再帰的ニューラルネットワークアーキテクチャが、凸フレームワーク内での特別なケースとして成功裏に埋め込まれた。
• 入力分布が想定された正則性条件からわずかに逸脱しても、性能は依然として高い水準を維持した。
• 結果から、凸プログラミングの非線形再帰的システムの学習および解析への応用可能性が示唆された。