[論文レビュー] The troublesome kernel: why deep learning for inverse problems is typically unstable.

Nina Maria Gottschling, Vegard Antun+2 more|arXiv (Cornell University)|Jan 5, 2020

Sparse and Compressive Sensing Techniques参考文献 48被引用数 66

ひとこと要約

本稿は、画像分野における逆問題に対する深層学習（DL）手法が、ランダムノイズが加わっても通常は不安定である理由を厳密な数学的分析によって説明している。高い再構成精度はしばしば不安定性を伴うことが明らかになり、ニューラルネットワークの学習が最適な再構成手法をもたらすとは限らないことが示され、DLが性能を常に向上させるという仮定に疑問を呈している。

ABSTRACT

There is overwhelming empirical evidence that Deep Learning (DL) leads to unstable methods in applications ranging from image classification and computer vision to voice recognition and automated diagnosis in medicine. Recently, a similar instability phenomenon has been discovered when DL is used to solve certain problems in computational science, namely, inverse problems in imaging. In this paper we present a comprehensive mathematical analysis explaining the many facets of the instability phenomenon in DL for inverse problems. Our main results not only explain why this phenomenon occurs, they also shed light as to why finding a cure for instabilities is so difficult in practice. Additionally, these theorems show that instabilities are typically not rare events - rather, they can occur even when the measurements are subject to completely random noise - and consequently how easy it can be to destablise certain trained neural networks. We also examine the delicate balance between reconstruction performance and stability, and in particular, how DL methods may outperform state-of-the-art sparse regularization methods, but at the cost of instability. Finally, we demonstrate a counterintuitive phenomenon: training a neural network may generically not yield an optimal reconstruction method for an inverse problem.

研究の動機と目的

• 画像分野における逆問題に応用された深層学習手法の不安定性の根本的要因を理解すること。
• 測定値にランダムノイズが加わっても、なぜ不安定性が持続するのかを調査すること。
• DLベースのソルバーにおいて、高い再構成性能と数値的不安定性の間のトレードオフを分析すること。
• 深層学習が逆問題の最適な再構成手法を常に得るという仮定に疑問を呈すること。
• 実際の応用において、逆問題におけるDLの不安定性を是正することがなぜ難しいかという理論的洞察を提供すること。

提案手法

• 最適化、一般化、安定性の相互作用に注目した、逆問題に用いられる深層学習モデルの包括的な数学的分析を実施する。
• 正則化理論と安定性分析の理論的枠組みを用いて、訓練済みニューラルネットワークが不適切な逆問題においてどのように振る舞うかを特徴づける。
• 特にランダムノイズ条件下での入力データの微小な摂動に対するニューラルネットワーク出力の感度を分析する。
• 古典的スパース正則化手法と比較して、深層学習手法の性能と安定性を検証する。
• ニューラルネットワークが最小限の入力摂動に対しても高い精度を達成するが、依然として不安定であるような条件を導出する。
• 精度と頑健性の間の本質的トレードオフのため、最適な再構成が学習によって保証されないことを示す。

実験結果

リサーチクエスチョン

• RQ1 測定値に完全にランダムなノイズが存在する場合でも、なぜ深層学習手法が逆問題において不安定性を示すのか？
• RQ2 深層学習における高い再構成精度は、どの程度数値的不安定性の代償となっているのか？
• RQ3 膨大な訓練を経ても、なぜ逆問題に適した安定した深層学習モデルを設計することが難しいのか？
• RQ4 訓練データ上で良好に動作するにもかかわらず、トレーニングされたニューラルネットワークが逆問題の最適な再構成手法でない可能性はどれほど高いのか？
• RQ5 古典的スパース正則化手法と比較して、深層学習手法の安定性は逆問題においてどのように異なるのか？

主な発見

• 深層学習における不安定性は、測定値に完全にランダムなノイズが存在する場合でも、一般的な現象である。
• 深層学習モデルの高い再構成性能は、深刻な不安定性と併存することが多く、精度と頑健性の根本的トレードオフを示している。
• ニューラルネットワークの学習が逆問題の最適な再構成手法を保証するとは限らず、より良い性能がより良い安定性を意味するという仮定に疑問を呈する。
• 理論的分析により、深層ネットワークがノイズのある入力を解に写像する方法を学習することで不安定性が生じ、微小な入力摂動に対して敏感になることが明らかになった。
• 深層ニューラルネットワークのインダクティブバイアスのため、元の逆問題が適切に定義されていなくても、安定性は保証されない。
• 本稿は、小さなランダム摂動によってニューラルネットワークが簡単に不安定化されることを示し、現在のDLベースのソルバーの脆さを強調している。