[論文レビュー] Probabilistic Numeric Convolutional Neural Networks

Marc Finzi, Roberto Bondesan+1 more|arXiv (Cornell University)|Oct 21, 2020

Gaussian Processes and Bayesian Inference参考文献 56被引用数 6

ひとこと要約

この論文は、画像や時系列などの連続的信号における離散化誤差を明示的に表現・伝播できるように、特徴マップをガウス過程（GPs）としてモデル化する新しいフレームワーク、確率的数値畳み込みニューラルネットワーク（PNCNNs）を提案する。これらのGP特徴に対して偏微分方程式を用いて連続的畳み込み演算を適用することで、PNCNNsは不規則なサンプリング下でもロバストで等長性を保つ推論を実現し、SuperPixel-MNISTでは誤差を3倍低減しながら、PhysioNet2012でも競争力ある性能を維持する。

ABSTRACT

Continuous input signals like images and time series that are irregularly sampled or have missing values are challenging for existing deep learning methods. Coherently defined feature representations must depend on the values in unobserved regions of the input. Drawing from the work in probabilistic numerics, we propose Probabilistic Numeric Convolutional Neural Networks which represent features as Gaussian processes (GPs), providing a probabilistic description of discretization error. We then define a convolutional layer as the evolution of a PDE defined on this GP, followed by a nonlinearity. This approach also naturally admits steerable equivariant convolutions under e.g. the rotation group. In experiments we show that our approach yields a $3 imes$ reduction of error from the previous state of the art on the SuperPixel-MNIST dataset and competitive performance on the medical time series dataset PhysioNet2012.

研究の動機と目的

• 画像や時系列などの連続的で不規則にサンプリングされた信号における深層学習における離散化誤差の課題に対処すること。
• 特徴を確率論的にモデル化することで、サンプリング解像度や位置に依存しないニューラルネットワークアーキテクチャを構築すること。
• 確率的数値の原則に従い、未観測の入力領域からの不確実性をネットワークのフォワードパスに統合すること。
• 連続的変換（例：回転）に対して等長性を保つ畳み込みを、連続的GP表現上で実行することで実現すること。
• 特に医療時系列データや画像分類において、欠損またはスパarsなデータを含むベンチマークで、既存手法を上回ること。

提案手法

• 各層の特徴マップをガウス過程（GPs）として表現し、未観測の入力領域における平均予測と不確実性を符号化する。
• 入力GP上の偏微分方程式（PDE）の解として畳み込み層を定義することで、離散化されていない連続的演算を可能にする。
• GP出力に非線形活性化（例：ReLU）を適用し、変換後のGPの平均および共分散の閉形式表現を導出する。
• 母関数技術と多変量正規分布の累積分布関数（CDF）を用いて、非線形に変換されたGPのモーメントを計算し、微分可能バックプロパゲーションを可能にする。
• GPフレームワークを活用して、回転などの連続的対称性群におけるスティーラブル畳み込み（steerable convolutions）を自然にサポートする。
• GP変換の合成を通じて不確実性をネットワーク全体に伝播させ、入力の離散化に起因するエピステミック不確実性を明示的に追跡する。

実験結果

リサーチクエスチョン

• RQ1 連続的信号における未観測の入力領域に起因する不確実性を明示的に表現できるように、深層ニューラルネットワーク特徴をガウス過程としてモデル化できるか？
• RQ2 標準的なCNNに内在する離散化誤差を回避するため、GP特徴上で連続的畳み込み演算を定義する方法は何か？
• RQ3 特徴マップに不確実性をモデル化することで、不規則にサンプリングされたまたは低解像度のデータに対するロバスト性と性能がどの程度向上するか？
• RQ4 GPベースのフレームワークは、回転などの連続的群に対して等長性を保つ畳み込みをサポートできるか？これにより一般化性能が向上するか？
• RQ5 欠損またはスパースなデータを含むベンチマーク（例：SuperPixel-MNIST や PhysioNet2012）において、提案手法は最先端のモデルと比較してどのように差をつけるか？

主な発見

• PNCNNは、不規則にサンプリングされた画像データであるSuperPixel-MNISTデータセットにおいて、前人最高の手法と比較して誤差を3倍低減し、顕著な改善を示した。
• この手法は、欠損やスパースな測定値に強い医療時系列ベンチマークであるPhysioNet2012でも、競争力ある性能を維持した。
• 特徴をGPsとしてモデル化することで、離散化に起因する不確実性を明示的に追跡でき、サンプリングアーチファクトへの過剰適合を低減し、一般化性能を向上させた。
• 連続的関数的表現による特徴表現のおかげで、回転などの連続的対称性群におけるスティーラブル畳み込みが自然にサポートされた。
• 多変量正規分布のCDFと母関数を用いて、GP特徴の非線形変換（例：ReLU）の閉形式表現を導出し、効率的かつ微分可能な推論を可能にした。
• 不確実性を学習プロセスの第一義的要素として扱うため、PNCNNは標準CNNや不規則な入力を補完・正則化する手法を上回る性能を発揮した。