[論文レビュー] Benchmarking Invertible Architectures on Inverse Problems

Jakob Kruse, Lynton Ardizzone+2 more|arXiv (Cornell University)|Jan 26, 2021

Model Reduction and Neural Networks参考文献 14被引用数 25

ひとこと要約

この論文は、2つの低次元の逆問題において、十の可逆および関連アーキテクチャを比較し、結合層モデル（INN、cINN）と単純なオートエンコーダが最も良い性能を示し、MDNも強力である一方、いくつかのアーキテクチャは困難を示す。

ABSTRACT

Recent work demonstrated that flow-based invertible neural networks are promising tools for solving ambiguous inverse problems. Following up on this, we investigate how ten invertible architectures and related models fare on two intuitive, low-dimensional benchmark problems, obtaining the best results with coupling layers and simple autoencoders. We hope that our initial efforts inspire other researchers to evaluate their invertible architectures in the same setting and put forth additional benchmarks, so our evaluation may eventually grow into an official community challenge.

研究の動機と目的

• 逆問題における可逆アーキテクチャの系統的評価を動機づける。
• hard invertible（硬可逆）と soft-invertible モデルが p(x|y) の再構成に与える影響を評価する。
• ベンチマーク問題で正確な事後推定をもたらすアーキテクチャと損失を特定する。

提案手法

• INN、cINN、IAF、MAF、iResNet、InvAuto、Autoencoder、cVAE、MDN を含む十のアーキテクチャを、二つの逆問題にわたって評価する。
• 二つの目的指標を使用する：posterior mismatch（MMD）と forward resimulation error。
• さまざまな損失構成（L2、MMD、ML likelihood）で訓練し、 forward process の監視（supervision）を任意に設定する。
• 公正な評価のため rejection sampling による真の事後を提供する。
• 比較のための真の事後サンプリングを含める。
• 推論時間とパラメータ数を報告して効率を比較する。

実験結果

リサーチクエスチョン

• RQ1 soft invertibility は逆問題の解決に十分か？
• RQ2 硬可逆性のためのアーキテクチャ的制約は性能を損なうか？
• RQ3 最も正確な事後推定をもたらすアーキテクチャと損失関数はどれか？
• RQ4 推論速度と拡張性の観点で、異なるモデルはどう比較されるか？

主な発見

手法	Err_post (10)	Err_resim (11)	推論時間（ms）	dim(z)	ML Loss	y-Supervision
INN	0.025	0.015	10	${\bullet}{\bullet}$	$\checkmark$	$\checkmark$
INN (L2 + MMD)	0.017	0.086	9	${\bullet}{\bullet}$	${empty}$	$\checkmark$
cINN	0.015	0.008	11	${\bullet}{\bullet}{\bullet}{\bullet}$	$\checkmark$	${empty}$
IAF + Decoder	0.419	0.222	0	${\bullet}{\bullet}{\bullet}{\bullet}$	$\checkmark$	$\checkmark$
MAF + Decoder	0.074	0.034	0	${\bullet}{\bullet}{\bullet}{\bullet}$	$\checkmark$	$\checkmark$
iResNet	0.713	0.311	763	${\bullet}{\bullet}$	${empty}$	$\checkmark$
InvAuto	0.062	0.022	1	${\bullet}{\bullet}$	${empty}$	$\checkmark$
Autoencoder	0.037	0.016	0	${\bullet}{\bullet}$	${empty}$	$\checkmark$
cVAE	0.042	0.019	0	${\bullet}{\bullet}$	${empty}$	${empty}$
MDN	0.007	0.012	601	${\bullet}{\bullet}{\bullet}{\bullet}$	$\checkmark$	${empty}$
INN	0.047	0.019	21	${\bullet}{\bullet}{\bullet}$	$\checkmark$	$\checkmark$
INN (L2 + MMD)	0.060	3.668	21	${\bullet}{\bullet}{\bullet}$	${empty}$	$\checkmark$
cINN	0.047	0.437	22	${\bullet}{\bullet}{\bullet}{\bullet}$	$\checkmark$	${empty}$
IAF + Decoder	0.323	3.457	0	${\bullet}{\bullet}{\bullet}{\bullet}$	$\checkmark$	$\checkmark$
MAF + Decoder	0.213	1.010	0	${\bullet}{\bullet}{\bullet}{\bullet}$	$\checkmark$	$\checkmark$
iResNet	0.084	0.091	307	${\bullet}{\bullet}$	${empty}$	$\checkmark$
InvAuto	0.156	0.315	1	${\bullet}{\bullet}$	${empty}$	$\checkmark$
Autoencoder	0.049	0.052	1	${\bullet}{\bullet}$	${empty}$	$\checkmark$
cVAE	4.359	0.812	0	${\bullet}{\bullet}$	${empty}$	${empty}$
MDN	0.048	0.184	175	${\bullet}{\bullet}{\bullet}{\bullet}$	$\checkmark$	${empty}$

• 結合層ベースのモデル（INN、cINN）が指標全体で最良の平均性能を達成。
• MDN は posterior mismatch と resimulation の両指標で非常に優れており、p(x|y) の直接モデリングを強力に提供。
• Invertible ResNet はタスクでモード崩壊を示し、これらのベンチマークの限界を示唆。
• IAF と MAF およびいくつかの設定は、これらのタスクで後方分布を堅牢に捉えられない。
• いくつかのモデルは MDN のように完全な共分散モデリングを要する、あるいは高次元へスケールさせるための注意深い訓練が必要。
• オートエンコーダも競合的であり、soft-invertible アプローチを有効なベースラインとして支持する。