[論文レビュー] Universal Approximation of Input-Output Maps by Temporal Convolutional Nets

Joshua Hanson, Maxim Raginsky|arXiv (Cornell University)|Jun 21, 2019

Embedded Systems Design Techniques被引用数 3

ひとこと要約

この論文は、有限記憶を持つ広範な入出力マップのクラスを、任意の精度で普遍的に近似可能であることを証明している。深さと幅、およびターゲットマップの連続性モジュラスに依存する定量的近似レートを、深層ReLU TCNに対して確立し、長期依存性が限定的なシステムにおいて、TCNと再帰型ネットワークの理論的同等性を拡張している。

ABSTRACT

There has been a recent shift in sequence-to-sequence modeling from recurrent network architectures to convolutional network architectures due to computational advantages in training and operation while still achieving competitive performance. For systems having limited long-term temporal dependencies, the approximation capability of recurrent networks is essentially equivalent to that of temporal convolutional nets (TCNs). We prove that TCNs can approximate a large class of input-output maps having approximately finite memory to arbitrary error tolerance. Furthermore, we derive quantitative approximation rates for deep ReLU TCNs in terms of the width and depth of the network and modulus of continuity of the original input-output map, and apply these results to input-output maps of systems that admit finite-dimensional state-space realizations (i.e., recurrent models).

研究の動機と目的

• 有限記憶を持つ入出力マップのクラスに対して、Temporal Convolutional Networks (TCNs) が普遍的近似能力を有することを確立すること。
• 深層ReLU TCNの近似誤差バウンドを、ネットワークの幅と深さの観点から定量的に導出すること。
• 長期的時間的依存性が限定的なシステムを近似する際、TCNと再帰型ネットワークの理論的同等性を示すこと。
• 有限次元状態空間表現から生じるマップの近似レートを分析すること。

提案手法

• 長距離依存性をモデル化するため、拡張された因果畳み込みを用いた残差ブロックを用いたTCNの理論的分析。
• 有限記憶を持つ入出力マップのクラスにおける普遍的近似の証明に、関数解析的手法を適用。
• ターゲットマップの連続性モジュラスとネットワークの深さ・幅に依存する近似誤差バウンドの導出。
• 表現力と深層アーキテクチャの解析の妥当性を高めるために、ReLU活性化関数の使用。
• 関数空間埋め込みとノルム空間の観点から、近似問題を形式化。
• 有限記憶制約下での理論的同等性を根拠に、TCNの近似性能と再帰型ネットワークの性能を比較。

実験結果

リサーチクエスチョン

• RQ1 TCNは、有限記憶を持つ広範な入出力マップのクラスを、任意の誤差許容範囲で普遍的に近似可能か？
• RQ2 深層ReLU TCNの定量的近似レートは、ネットワークの幅と深さの観点からどのように定式化されるか？
• RQ3 長期的依存性が限定的なシステムにおいて、TCNの近似特性は再帰型ネットワークのそれと比べてどうなるか？
• RQ4 有限次元状態空間モデルから導かれるマップを、TCNはどの程度まで近似可能か？
• RQ5 入出力マップの連続性モジュラスは、所定の近似許容誤差を達成するためのネットワーク容量にどのように影響するか？

主な発見

• TCNは、有限記憶を持つ任意の入出力マップを、任意の誤差許容範囲で普遍的に近似可能である。
• 近似誤差はネットワークの深さと幅の関数として減少し、ターゲットマップの連続性モジュラスに明示的な依存関係を示す。
• ホルダー連続的正則性を示すマップに対しては、深さと幅の増加に伴い近似レートが向上し、多項式収束レートを達成する。
• 長期的時間的依存性が限定的なシステムにおいて、TCNの理論的近似能力は再帰型ネットワークと同等である。
• これらの結果は、特に長距離依存性が弱い状況において、TCNの実験的成功を形式的根拠づけている。
• このフレームワークは、再帰型ニューラルネットワークなどの有限次元状態空間表現から生じる入出力マップに直接適用可能である。