[論文レビュー] On the Limitations of Representing Functions on Sets

Edward Wagstaff, Fabian B. Fuchs+3 more|arXiv (Cornell University)|Jan 25, 2019

Neural Networks and Applications被引用数 30

ひとこと要約

本稿は、集合上の連続関数近似（ニューラルネットワークやガウス過程によるものなど）において、普遍的表現を達成するためには、潜在空間次元が最大の集合サイズに等しいかそれ以上でなければならないことを示している。連続性の制約のもとでは、固定次元の潜在空間では不十分であることが証明されており、これは、非連続写像に依存する従来の手法に見られる主要な制限を解消するものである。

ABSTRACT

Recent work on the representation of functions on sets has considered the use of summation in a latent space to enforce permutation invariance. In particular, it has been conjectured that the dimension of this latent space may remain fixed as the cardinality of the sets under consideration increases. However, we demonstrate that the analysis leading to this conjecture requires mappings which are highly discontinuous and argue that this is only of limited practical use. Motivated by this observation, we prove that an implementation of this model via continuous mappings (as provided by e.g. neural networks or Gaussian processes) actually imposes a constraint on the dimensionality of the latent space. Practical universal function representation for set inputs can only be achieved with a latent dimension at least the size of the maximum number of input elements.

研究の動機と目的

• 固定次元の潜在空間を用いた任意の関数を集合上で表現する際の根本的制限を特定すること。
• 集合上の置換不変関数が、小さな固定次元の潜在空間で普遍的に表現可能であるという仮定に挑戦すること。
• ニューラルネットワークなど実用的モデルにとって不可欠な連続性が、潜在空間次元に必要な下界を生じることを確立すること。
• 可算ドメインに基づく従来の理論的結果が、ニューラルネットワーク実装において実用的でない理由を明確にすること。
• 集合上での和分解に基づくモデルにおける普遍的関数表現の必要十分条件を提示すること。

提案手法

• 置換不変性を強制するための和分解を分析する：f(X) = ρ(∑_{x∈X} φ(x))。
• 可算と非可算の入力ドメインを区別し、連続的モデルにとって実用的関連性を持つのは非可算ドメインに限ることを主張する。
• φとρが連続である場合、普遍的関数表現を達成するには潜在空間次元Nが入力要素数の最大値M以上でなければならないことを証明する。
• 実用的関連性の基盤として、[0,1]^M 上の連続関数の普遍的近似定理を用いる。
• ニューラルネットワークやガウス過程が普遍的近似を達成するには、φとρの連続性が不可欠であることを確立する。
• （付録Bで正式に証明）連続性の制約のもとでは、N ≥ M が普遍的表現において必要かつ十分である。

実験結果

リサーチクエスチョン

• RQ1 連続写像を仮定した場合、固定次元の潜在空間で、すべての置換不変関数を普遍的に表現できるか？
• RQ2 可算ドメインに基づく従来の理論的結果が、ニューラルネットワークなどの実用的モデルに適用できないのはなぜか？
• RQ3 連続的和分解を用いて集合上で普遍的関数表現を達成するための最小潜在空間次元は何か？
• RQ4 連続性の要請が、機械学習における集合ベースモデルの設計にどのように制約をもたらすか？
• RQ5 これまでに提案された十分条件を超えて、和分解モデルにおける普遍的関数表現の必要条件は存在するか？

主な発見

• 連続写像を用いる場合、潜在空間次元が入力要素数の最大値M以上であることは、普遍的関数表現にとって必要かつ十分である。
• 可算ドメインを仮定し、非連続写像を用いる従来の結果は、ニューラルネットワークやガウス過程では実装できないため、実用的価値が限定的である。
• [0,1]^M 上の連続関数の普遍的近似定理は非可算ドメインを必要とし、連続性が実用的モデルにとって重要な制約であることを示している。
• 連続なφとρを用いた和分解モデルでは、潜在次元N ≥ M でなければ、すべての置換不変関数を普遍的に近似できない。
• 数学的に有効ではあるが、非連続写像に依存する理論的モデルは、ニューラルネットワークなどの実世界実装に一般化できない。
• 本研究の結果は、ニューラルネットワークやガウス過程を含む、連続的和分解の任意の実装に一般化可能であり、特定のアーキテクチャに限定されない。