[論文レビュー] End-to-end learning of energy-based representations for irregularly-sampled signals and images

Ronan Fablet, Lucas Drumetz+1 more|arXiv (Cornell University)|Oct 1, 2019

Image and Signal Denoising Methods参考文献 22被引用数 8

ひとこと要約

本稿では、時間系列、画像、画像系列において高い欠損データ率が見られる状況下でも、最先端の再構成性能を達成する、エンド・トゥ・エンドのディープラーニングフレームワークを提案する。このフレームワークは、エネルギーに基づく表現と補間スキームを、ニューラルネットワークを用いて同時に学習する。

ABSTRACT

For numerous domains, including for instance earth observation, medical imaging, astrophysics,..., available image and signal datasets often involve irregular space-time sampling patterns and large missing data rates. These sampling properties may be critical to apply state-of-the-art learning-based (e.g., auto-encoders, CNNs,...), fully benefit from the available large-scale observations and reach breakthroughs in the reconstruction and identification of processes of interest. In this paper, we address the end-to-end learning of representations of signals, images and image sequences from irregularly-sampled data, i.e. when the training data involved missing data. From an analogy to Bayesian formulation, we consider energy-based representations. Two energy forms are investigated: one derived from auto-encoders and one relating to Gibbs priors. The learning stage of these energy-based representations (or priors) involve a joint interpolation issue, which amounts to solving an energy minimization problem under observation constraints. Using a neural-network-based implementation of the considered energy forms, we can state an end-to-end learning scheme from irregularly-sampled data. We demonstrate the relevance of the proposed representations for different case-studies: namely, multivariate time series, 2D images and image sequences.

研究の動機と目的

• 信号または画像の大部分が欠損している状況下で、意味のある表現を学習する課題に対処すること。
• エネルギーに基づく表現と関連する補間スキームを同時に最適化する統合学習フレームワークを開発すること。
• 標準的な補間手法を超えて、多様なデータタイプに一般化可能なデータ固有の事前分布を学習することにより、ディープラーニングのアプローチを拡張すること。
• リモートセンシングや医療画像分野など、サンプリングが本質的に不規則でデータギャップが一般的な分野において、効果的な表現学習を可能にすること。
• 実世界のデータにおいて、特にオートエンコーダーとギブスエネルギー形式のニューラルネットワークベースのエネルギーモデルが、高い欠損データ率下でも有効であることを示すこと。

提案手法

• 観測制約のもとでのエネルギー最小化として補間を定式化し、ベイジアンアナロジーを用いてエネルギー事前分布 $ U_\theta(X) $ を定義する。
• 2つのエネルギー形式を検討する：1つはオートエンコーダーから導出され、もう1つはギブス事前分布に基づくもので、両者ともニューラルネットワークによってパrameter化される。
• 学習プロセスは、観測された部分領域 $ \Omega^{(i)} $ における再構成誤差の最小化に基づく。定義は $ \widehat{\theta} = \arg\min_\theta \sum_i \|Y^{(i)} - \mathcal{I}(U_\theta, Y^{(i)}, \Omega^{(i)})\|^2_{\Omega^{(i)}} $ である。
• 補間演算子 $ \mathcal{I} $ は、エネルギー最小化問題を解くニューラルネットワークとして実装され、エンド・トゥ・エンドのバックプロパゲーションが可能になる。
• 計算コストの高いMCMCや勾配ベースのソルバを避けるために、効率的な推論を可能にする固定点ニューラルアーキテクチャを採用する。
• モデルは不規則にサンプリングされたデータ上でエンド・トゥ・エンドで訓練され、エネルギー事前分布と再構成マッピングが1つの最適化ループ内で同時に学習される。

実験結果

リサーチクエスチョン

• RQ1 ギャップのないトレーニングデータを必要とせずに、不規則にサンプリングされたデータからエネルギーに基づく表現を効果的に学習できるか？
• RQ2 高い欠損データ率下での信号再構成において、ニューラルネットワークベースのオートエンコーダーとギブスエネルギー事前分布は、どのように比較されるか？
• RQ3 エネルギー事前分布と補間スキームをエンド・トゥ・エンドで学習することで、標準的な事前学習済みモデルに比べて再構成精度が向上するか？
• RQ4 学習されたエネルギー事前分布は、時間系列、画像、画像系列といった異なるデータタイプにどの程度一般化できるか？
• RQ5 提案されたフレームワークは、再構成を超える下流タスクにおいて、学習済み事前分布のプラグアンドプレイ利用を可能にするか？

主な発見

• 提案されたエンド・トゥ・エンド学習フレームワークは、多次元時系列、2次元画像、画像系列において、高い欠損データ率下でも優れた再構成性能を達成する。
• 本手法は、完全な参照データを必要とせずに、不規則にサンプリングされたデータから直接オートエンコーダーおよびギブスエネルギーに基づく表現を学習することができる。
• 局所的な近隣構造を活用するニューラルネットワークベースのギブスエネルギー事前分布は、複雑な空間パターンを捉える上で、標準的な事前分布を上回る性能を示す。
• 固定点ニューラルアーキテクチャにより、効率的な推論が可能になり、MCMCや反復的最適化の計算負荷を回避できる。
• 学習されたエネルギー表現は未観測データに対しても良好に一般化され、再構成以外のタスクでも再利用可能であることが示され、プラグアンドプレイ展開の可能性を示唆している。
• 数値実験により、データの80％が欠損している場合でさえもフレームワークが頑健であることが確認され、極めて疎な状況下でも強力な一般化性能を示している。