[論文レビュー] Analyzing Inverse Problems with Invertible Neural Networks

Lynton Ardizzone, Jakob Kruse+7 more|arXiv (Cornell University)|Aug 14, 2018

Neural Networks and Applications被引用数 154

ひとこと要約

この論文は可逆ニューラルネットワーク（INNs）が、 ill-posed inverse problems の全体事後 p(x|y) を推定できることを示し、科学分野での多モーダルかつ校正されたパラメータ推定を可能にする。

ABSTRACT

In many tasks, in particular in natural science, the goal is to determine hidden system parameters from a set of measurements. Often, the forward process from parameter- to measurement-space is a well-defined function, whereas the inverse problem is ambiguous: one measurement may map to multiple different sets of parameters. In this setting, the posterior parameter distribution, conditioned on an input measurement, has to be determined. We argue that a particular class of neural networks is well suited for this task -- so-called Invertible Neural Networks (INNs). Although INNs are not new, they have, so far, received little attention in literature. While classical neural networks attempt to solve the ambiguous inverse problem directly, INNs are able to learn it jointly with the well-defined forward process, using additional latent output variables to capture the information otherwise lost. Given a specific measurement and sampled latent variables, the inverse pass of the INN provides a full distribution over parameter space. We verify experimentally, on artificial data and real-world problems from astrophysics and medicine, that INNs are a powerful analysis tool to find multi-modalities in parameter space, to uncover parameter correlations, and to identify unrecoverable parameters.

研究の動機と目的

• 自然科学および生命科学における ill-posed な逆問題に対して全ての事後 p(x|y) を推定する必要性を動機づける。
• 前方過程を学習し、潜在変数を介して逆問題を暗黙的にモデル化する INN を提案する。
• INN が多モーダル性、パラメータ間の相関、回復不能なパラメータを捉えることを示す。
• 合成データおよび実データに対して ABC および cVAE と競合する性能を示す。

提案手法

• 正の転送f(x)=[y,z] を用いて前方過程 y=s(x) をモデル化し、暗黙的な逆 g(y,z)=x を定義する。
• y に失われた情報を捉える潜在変数 z を導入し、事後表現 p(x|y) を可能にする p(z)=N(0,I) の事前分布を持つ。
• f と g を双方向に学習し、y≈f_y(x) および z≈f_z(x) となるようにしつつ、p(z)=N(0,I) を課し、MMD ベースの損失により y と z の独立性を保証する。
• 結合層と固定/ランダム置換を用いて、完全に可逆なアーキテクチャを構築し、正確な密度計算のための扱いやすいヤコビ行列を得る。
• 最大平均差異（MMD）を適用して z の分布同一性と (y,z) と (y,p(z)) の結合について分布を合わせ、逆方向の整合性を確保する。
• 学習を安定化させるための前方損失と、最適解を変更せずに収束を改善する補助損失 L_x を用いる。

実験結果

リサーチクエスチョン

• RQ1 INN はドメインを問わず逆問題に対して全ての事後 p(x|y) を再現できるか？
• RQ2 前方・後方・双方向の学習戦略が、事後のキャリブレーションと多モーダリティ検出にどう影響するか？
• RQ3 合成データおよび実データに対して、INN は精度と事後のキャリブレーションで ABC と cVAE とどのように比較されるか？

主な発見

Method	MAP error sO2	MAP error all	MAP re-simulation error	Calibration error
NN (+ Dropout)	0.057 b1 0.003	0.56 b1 0.01	0.397 b1 0.008	1.91%
INN	0.041 b1 0.002	0.57 b1 0.02	0.327 b1 0.007	0.34%
INN, only L_y,L_z	0.066 b1 0.003	0.71 b1 0.02	0.506 b1 0.010	1.62%
INN, only L_x	0.861 b1 0.033	1.70 b1 0.02	2.281 b1 0.045	3.20%
cVAE	0.050 b1 0.002	0.74 b1 0.02	0.314 b1 0.007	2.19%
cVAE-IAF	0.050 b1 0.002	0.74 b1 0.03	0.313 b1 0.008	1.40%
ABC	0.036 b1 0.001	0.54 b1 0.02	0.284 b1 0.005	0.90%
Simulation noise			0.129 b1 0.001

• INNs は全ての事後 p(x|y) を近似でき、マルチモーダルで相関するパラメータ構造を明らかにする。
• Bi-directional training with forward and backward losses yields better posterior calibration than forward-only training.
• INN posteriors show correct unrecoverable parameters and parameter correlations not captured by some baselines.
• On medical data, INN achieves favorable calibration and MAP error vs. cVAE, ABC, and dropout-based NNs.
• In astrophysics applications, INNs recover multimodal posteriors and correlated parameter effects from multispectral data.