[論文レビュー] Improving Robustness of Deep-Learning-Based Image Reconstruction

Ankit Raj, Yoram Bresler+1 more|arXiv (Cornell University)|Feb 26, 2020

Adversarial Robustness in Machine Learning参考文献 44被引用数 15

ひとこと要約

本稿では、信号空間（x空間）ではなく測定空間（y空間）で悪意のある例を生成することにより、深層学習ベースの画像再構成におけるロバスト性を向上させるためのミニマックス敵対的訓練フレームワークを提案する。この手法は、訓練中に摂動を生成する補助ネットワークを用い、劣悪な条件の影響を抑える特異値フィルタリング解を導出し、線形および非線形ネットワークの両方における圧縮センシングタスクにおいて顕著なロバスト性向上を達成する。また、良好な条件と劣悪な条件の測定行列の間で、質的差が観察される。

ABSTRACT

Deep-learning-based methods for different applications have been shown vulnerable to adversarial examples. These examples make deployment of such models in safety-critical tasks questionable. Use of deep neural networks as inverse problem solvers has generated much excitement for medical imaging including CT and MRI, but recently a similar vulnerability has also been demonstrated for these tasks. We show that for such inverse problem solvers, one should analyze and study the effect of adversaries in the measurement-space, instead of the signal-space as in previous work. In this paper, we propose to modify the training strategy of end-to-end deep-learning-based inverse problem solvers to improve robustness. We introduce an auxiliary network to generate adversarial examples, which is used in a min-max formulation to build robust image reconstruction networks. Theoretically, we show for a linear reconstruction scheme the min-max formulation results in a singular-value(s) filter regularized solution, which suppresses the effect of adversarial examples occurring because of ill-conditioning in the measurement matrix. We find that a linear network using the proposed min-max learning scheme indeed converges to the same solution. In addition, for non-linear Compressed Sensing (CS) reconstruction using deep networks, we show significant improvement in robustness using the proposed approach over other methods. We complement the theory by experiments for CS on two different datasets and evaluate the effect of increasing perturbations on trained networks. We find the behavior for ill-conditioned and well-conditioned measurement matrices to be qualitatively different.

研究の動機と目的

• 安全な医療画像診断における深層学習ベースの画像再構成ネットワークが、敵対的摂動に対して脆弱であるという問題に取り組む。
• 画像再構成の逆問題の性質から、敵対的ロバスト性は信号空間（x空間）ではなく測定空間（y空間）で分析・向上させるべきであると主張する。
• 補助ネットワークを用いて訓練中に敵対的例を生成するミニマックス訓練フレームワークを開発し、ロバスト性を向上させる。
• 理論的および実験的検証を通じて、提案手法が特異値フィルタリング解に収束し、劣悪な条件の測定行列による不安定性を抑えることを示す。
• 異なる圧縮センシングデータセットおよび測定行列の条件（良好 vs 劣悪）において、ロバスト性の向上を実証する。

提案手法

• 訓練中に測定空間（y）で敵対的摂動を生成するミニマックス敵対的訓練の定式化を導入する。
• 主な再構成ネットワークがこの誤差を最小化するのに対し、補助ネットワークが誤差を最大化する摂動を生成する。
• 理論的分析により、線形再構成においてミニマックス定式化が、劣悪な逆問題を安定化させる特異値フィルタリング正則化解に収束することを示す。
• 敵対的例をy空間で生成するエンドツーエンド訓練により、非線形深層ネットワークへの応用を拡張する。
• 制約付きで凸計画問題として最適化を定式化し、ラグランジュ緩和を用いて最適解の構造を導出する。
• 実験的検証として、2つの圧縮センシングデータセットを用い、良好および劣悪な条件の測定行列における摂動レベルの増加に対するロバスト性を比較する。

実験結果

リサーチクエスチョン

• RQ1 摂動が信号空間（x）ではなく測定空間（y）で生成された場合、画像再構成における敵対的ロバスト性は向上するか？
• RQ2 補助ジェネレータを用いたミニマックス訓練フレームワークは、線形再構成において特異値フィルタリング解をもたらすか？その結果、ロバスト性が向上するか？
• RQ3 非線形深層ネットワークにおいて、提案手法は標準的な敵対的訓練や非敵対的ベースラインと比較して、どの程度のロバスト性を示すか？
• RQ4 敵対的摂動下において、良好な測定行列と劣悪な測定行列の間で、ロバストネス行動にどのような質的差が生じるか？
• RQ5 線形ケースの理論的収束性は、非線形深層ネットワーク設定でも実験的に検証可能か？

主な発見

• 提案されたミニマックス訓練フレームワークは、特に測定空間における敵対的摂動に対して、深層画像再構成ネットワークのロバスト性を顕著に向上させる。
• 線形再構成において、この手法は特異値フィルタリング解に収束し、理論的に測定行列の劣悪な条件の影響を抑える。
• 実験的結果から、2つの圧縮センシングデータセットにおいて、提案手法は定量的・定性的な指標の両面で、標準的な敵対的訓練およびベースライン手法を上回る性能を示す。
• 良好な測定行列と劣悪な測定行列の間で、再構成ネットワークの挙動に質的差が生じ、後者はロバストな訓練がない場合に摂動に対してより感受性を示す。
• 補助ジェネレータは、エンドツーエンド訓練中に、主な再構成ネットワークのロバスト性を向上させる有効な敵対的例を効果的に生成した。
• 理論的分析により、ミニマックス定式化における最適解が特異値フィルタリング付きの正則化解に対応することが確認され、本手法に原理的根拠が与えられる。