[論文レビュー] Convolutional Conditional Neural Processes

Jonathan Gordon, Wessel P. Bruinsma+4 more|arXiv (Cornell University)|Oct 29, 2019

Topic Modeling参考文献 32被引用数 16

ひとこと要約

この論文は、畳み込み型関数埋め込みを用いてデータ内の平行移動不変性を明示的にモデル化する、新しいニューラルプロセスの変種、Convolutional Conditional Neural Processes (CONVCNP) を提案する。深層集合理論を関数的表現へと拡張することで、時系列、空間的データ、画像補完の分野において、SOTAの性能と優れたゼロショット一般化性能を達成する。

ABSTRACT

We introduce the Convolutional Conditional Neural Process (ConvCNP), a new member of the Neural Process family that models translation equivariance in the data. Translation equivariance is an important inductive bias for many learning problems including time series modelling, spatial data, and images. The model embeds data sets into an infinite-dimensional function space as opposed to a finite-dimensional vector space. To formalize this notion, we extend the theory of neural representations of sets to include functional representations, and demonstrate that any translation-equivariant embedding can be represented using a convolutional deep set. We evaluate ConvCNPs in several settings, demonstrating that they achieve state-of-the-art performance compared to existing NPs. We demonstrate that building in translation equivariance enables zero-shot generalization to challenging, out-of-domain tasks.

研究の動機と目的

• 既存のニューラルプロセスモデルには内蔵された平行移動不変性が欠如しており、データに依存して非効率的にこの誘導的バイアスを学習するという問題に対処すること。
• 集合の関数的表現を、平行移動不変性を持つモデルの基盤として形式化し、深層集合理論を無限次元空間へと拡張すること。
• 空間的および時間的平行移動不変性を自然に符号化するニューラルプロセスアーキテクチャを開発し、一般化性能とサンプル効率を向上させること。
• 合成データおよび実世界データを含む多様なベンチマーク上でモデルを評価し、頑健な性能とゼロショット転送能力を示すこと。

提案手法

• 集合上の平行移動不変関数の表現定理を提案し、Zaheerら（2017）の理論を関数的埋め込みへと拡張する。
• コンテキスト集合を無限次元関数空間に写像する畳み込みニューラルネットワークを用いた関数的エンコーダーを導入する。
• 学習された密度チャネルと正の制約を用いた正規化畳み込みを採用し、訓練の安定化と不変性の強制を図る。
• 最初の層で学習可能なカーネルを用い、正確な畳み込みカーネル（EQ）を近似することで、明示的なグリッド制約なしに不変性を実現する。
• 境界に起因する位置依存性を低減し、大きな受容 field においても平行移動不変性を維持するため、「円形」パディングを適用する。
• コンテキスト-ターゲットペアに対する最尤推定を用いてモデルを訓練し、テスト時の推論を模倣することで、強力な一般化性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 関数的表現を用いて、ニューラルプロセスに平行移動不変性を形式的に埋め込むことは可能か？
• RQ2 畳み込み型誘導的バイアスを組み込むことで、ドメイン外タスクにおけるゼロショット一般化性能はどのように向上するか？
• RQ3 密度チャネル、正規化、パディングなどのアーキテクチャ的要素は、不変性と性能を維持するためにどれほど重要か？
• RQ4 サンプル効率および一般化性能の観点から、CONVCNPは既存のCNPsやアテンションベースのモデルと比べてどのように差をつけるか？
• RQ5 モデルアーキテクチャ（例：受容 field のサイズ）が、非ステーションリティで位置依存の挙動の学習にどの程度影響を与えるか？

主な発見

• CONVCNPは、合成時系列データ、空間的データ、画像補完ベンチマークにおいて、SOTAの性能を達成し、既存のCNPsやATTNCNPを上回る。
• ドメイン外タスクへの強いゼロショット一般化性能を示し、特にZSMMベンチマークでは、大きな受容 field を持つモデルを顕著に上回る。
• アブレーションスタディの結果、密度チャネルと正規化は、特に正の制約と組み合わせた場合に性能に不可欠であることが示された。
• 「円形」パディングを用いることで、境界効果に起因する非ステーションリティな挙動をモデルが学習するのを防ぎ、大きな受容 field でも不変性を維持できる。
• 学習された最初の層のカーネルは、正確な畳み込みカーネル（EQ）に非常に近い近似値を示しており、モデルが同等の不変表現を学習していると示唆される。
• 受容 field が大きな CONVCNPXL は、ゼロパディングに起因する位置依存性の挙動により、CONVCNP よりも性能が劣るが、これは円形パディングによって是正可能である。