[論文レビュー] Approximation capability of neural networks on spaces of probability measures and tree-structured domains

Tomáš Pevný, Vojtěch Kovařík|arXiv (Cornell University)|Jun 3, 2019

Neural Networks and Applications参考文献 27被引用数 11

ひとこと要約

本稿は、確率測度のコンpact集合および木構造データドメイン（例：JSON、XML、ProtoBuf）上の関数に対して、ニューラルネットワークの普遍的近似性を確立する。2分岐ニューラルネットワークに平均集約を適用することで、確率測度上の任意の連続関数を近似可能であり、マルチインスタンス学習および階層的データ形式への普遍的近似定理の拡張を実現する。

ABSTRACT

This paper extends the proof of density of neural networks in the space of continuous (or even measurable) functions on Euclidean spaces to functions on compact sets of probability measures. By doing so the work parallels a more then a decade old results on mean-map embedding of probability measures in reproducing kernel Hilbert spaces. The work has wide practical consequences for multi-instance learning, where it theoretically justifies some recently proposed constructions. The result is then extended to Cartesian products, yielding universal approximation theorem for tree-structured domains, which naturally occur in data-exchange formats like JSON, XML, YAML, AVRO, and ProtoBuffer. This has important practical implications, as it enables to automatically create an architecture of neural networks for processing structured data (AutoML paradigms), as demonstrated by an accompanied library for JSON format.

研究の動機と目的

• コンパクトな確率測度の集合上の連続関数に対して、ニューラルネットワークの普遍的近似定理を拡張すること。
• 可変サイズのインスタンスのバッグに対して平均プーリングで特徴を集約するマルチインスタンス学習（MIL）ニューラルネットワークの使用を形式的に正当化すること。
• 確率測度の結果を再帰的に適用することで、JSON や XML のような木構造データドメインへの近似能力を一般化すること。
• ネストされた集合および階層的スキーマを含む、構造化データ処理に用いられる最近のニューラルネットワークアーキテクチャの理論的基盤を提供すること。
• カーネル平均埋め込み技術とディープラーニングを統合し、確率測度上の連続関数空間におけるニューラルネットワークの稠密性を証明すること。

提案手法

• 2つの非線形隠れ層と線形出力層を備えたニューラルネットワークが、コンパクトな確率測度集合上の連続関数空間において稠密であることを、Stone-Weierstrass定理を用いて証明する。
• 最初のネットワークブランチの後に平均集約（すなわち、要素ごとの平均）を適用することで、可変サイズのインスタンスバッグを処理し、置換不変性を確保する。
• コンパクトな距離空間のカルテシアン積へと再帰的に確率測度近似結果を適用することで、木構造ドメインへの拡張を実現する。
• 有限カルテシアン積および確率測度空間の作成操作に関して閉じた空間のクラス S を定義し、再帰的適用の可能性を保証する。
• 近似における位相的整合性と連続性を保証するために、確率測度空間に metric ρ* を用いる。
• カーネル法における平均マップ埋め込みの概念を活用し、それを順伝がかりニューラルネットワークに適応することで、新しいドメインにおける普遍的近似性を証明する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、ユークリッド空間と同様に、コンパクトな確率測度集合上の連続関数を普遍的に近似可能か？
• RQ2 標準的なMILニューラルネットワークアーキテクチャ（2つのネットワークに平均集約を適用）は、確率測度上の関数に対して普遍的近似可能か？
• RQ3 JSON や XML のような木構造データフォーマットに、普遍的近似性を拡張可能か？これらは自然に階層的かつ可変サイズのデータを表現する。
• RQ4 再生核ヒルバート空間における平均マップ埋め込みの理論的基盤は、同様の不変性および近似特性を有するニューラルネットワークアーキテクチャへと拡張可能か？
• RQ5 近似結果は可測関数へ一般化可能か？活性化関数に必要な最小限の連続性仮定は何か？

主な発見

• 本稿は、2つの非線形層、平均集約層、線形出力層を備えたニューラルネットワークが、コンパクトな確率測度集合上の連続関数空間において稠密であることを証明している（定理2）。
• 再帰的適用により、木構造ドメインへ結果を拡張し、クラス S に属する任意の空間における連続関数空間において、ニューラルネットワークが稠密であることを示した（定理5）。S には、R^d のすべてのコンパクト部分集合、それらの有限積、および確率測度が含まれる。
• 証明は Stone-Weierstrass 定理に依拠しており、連続な活性化関数を対象とし、非線形性は最終層を除き連続であれば十分である。
• 理論的枠組みは、点群処理、医療診断、ネットワーク侵入検知など、MILニューラルネットワークの広範な応用を正当化する。
• 本研究は、構造化データ向けAutoMLアーキテクチャの正式な基盤を提供し、JSONに類似したフォーマット向けのニューラルネットワーク構築を実装したライブラリを併記している。
• 結果はカーネル平均埋め込みおよびMaximum Mean Discrepancy手法をニューラルネットワークへ一般化し、O(l³b²)の計算量を有するカーネルアプローチのスケーラブルな代替手段を提供する。