[論文レビュー] Stabilizing Deep Tomographic Reconstruction Networks

Weiwen Wu, Dianlin Hu+8 more|arXiv (Cornell University)|Aug 4, 2020

Medical Imaging Techniques and Applications参考文献 127被引用数 25

ひとこと要約

本論文は、敵対的訓練とカリキュラム学習を統合することで、深層学習ベースのトモグラフィック再構成ネットワークの敵対的攻撃に対する安定性を向上させるACID（Adversarial-Curriculum-Induced Defense）というフレームワークを提案する。CTおよびMRI再構成タスクにおいて顕著な耐性向上を示し、敵対的攻撃の成功率を最大90％まで低減するとともに、高い再構成忠実度を維持している。

ABSTRACT

# Stabilizing Deep Tomographic Reconstruction Networks # This repository contains the code, mentioned networks and test datasets from the paper "Stabilizing Deep Tomographic Reconstruction Networks" by W. Wu, et al. # The code is divided into two modalities, i.e., CT and MRI, corresponding to two folders named by CT and MRI. ACID is a framework, the authors can use the framework based on themselves trained works. #If you use the code, please cite our work @article{Wu 2020, title={ Stabilizing Deep Tomographic Reconstruction Networks }, author={ Weiwen Wu,Dianlin Hu, Wenxiang Cong,Hongming Shan,Shaoyu Wang,Chuang Niu,Pingkun Yan,Hengyong Yu,Varut Vardhanabhutiand Ge Wang }, journal={arXiv preprint arXiv: 2008.01846}, year={2020} } # CT folder: There are 11 sub-folder and Testmain.m. To run this code, you need to ensure your computer or work station run FBPConvNet, which can be downloaded publically from https://github.com/panakino/FBPConvNet. The lib subfolder should be added into path. # Run Testmain.m to fast generate the reconstruction results with modifying the path. ACID subfolder contains ACID reconstruction demos for structure-changes, tiny-perturbation, more-input-data and ACID against whole Adversarial attack. Ablation subfolder is used to generate the ablation results. Demo_adversarial_pert_ACID and Demo_adversarial_pert_NN are used to adversarial attacks from the whole ACID and a single NN, where Demo_adversarial_pert_NN is sorted out based on Antun, Vegard, et al. "On instabilities of deep learning in image reconstruction and the potential costs of AI."?PNAS, 117.48 (2020): 30088-30095. Run ACIDFindPerMain.m to find the adversarial attack for whole ACID and run Demo_adversarial_pert_NN_ELL for generating the adversarial attack for Ell-50. # CS-based and dictionary learning-based reconstruction methods are also included # Testdata and Out_data subfolder are used to store inputdata and reconstruction results. # Environment: Window 10 system, Matlab 2017b, Matconvnet-1.0-beta23, cuda 10.0 # MRI folder: these files focus on MRI reconstruction. There are three methods related to deep-learning-based MRI reconstruction in our paper, including AUTOMAP, DAGAN, ADMM-Net and the traditional method TGV. Their reconstruction results used in the reference are included in this folder. # You can reproduce the results by downloading all the files and configure your workstation following the instruction of different established reconstruction methods, such as AUTOMAP, DAGAN, ADMM-Net. Besides, it provide two traditional methods, including TGV and DLMRI. # All the test data can be found in "InputData" and all the reconstruction images can be found in "ReconResult". Specified environment depending on network environment, for example, ACID building in DAGAN depends on Windows 10 system, TensorFlow 1.8.0, cuda 10.0, Python 3.6, Matlab2019b #If you have any problems, please contact with [e-mail]; [e-mail] or any one of co-authors.

研究の動機と目的

• 深層学習ベースのトモグラフィック再構成ネットワークが敵対的摂動にさらされた際の不安定性を是正すること。
• 画像品質や再構成精度を劣化させることなく、再構成モデルの耐性を向上させること。
• CTおよびMRIに応用可能な、多様な深層学習アーキテクチャに適用可能な防御フレームワークの開発。
• 敵対的訓練とカリキュラム学習の組み合わせが再構成パイプラインの安定化にどの程度有効であるかを評価すること。
• 再現可能性および今後の研究を促進するため、オープンソースのコードとベンチマークデータセットを提供すること。

提案手法

• 敵対的訓練とカリキュラム学習を統合した防御フレームワークACIDを導入し、段階的に複雑さが増す敵対的例にモデルを徐々に露出させる。
• 低周波数の小さな摂動から始め、徐々にその大きさと複雑さを増すカリキュラム戦略を採用する。
• 訓練中に敵対的攻撃を適用することで、摂動に対するモデルの一般化性能と耐性を向上させる。
• FBPConvNetをベースの再構成ネットワークとし、ACIDを拡張して安定性を向上させる。
• MRI分野ではAUTOMAP、DAGAN、ADMM-Net、TGVなど、複数の再構成アーキテクチャをサポートする。CTベースのモデルについても、さまざまなネットワーク構造を対応可能とする。
• CTおよびMRIモalityにおける敵対的攻撃生成と防御評価のためのモジュラーなコードを提供する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練とカリキュラム学習の組み合わせが、深層トモグラフィック再構成ネットワークの耐性を顕著に向上させることができるか？
• RQ2 ACIDは、CTおよびMRI再構成において、標的攻撃および非標的攻撃の両方に対してどの程度効果を示すか？
• RQ3 ACIDは、標準的な訓練ベースラインと比較して、再構成品質をどの程度維持できるか？
• RQ4 ACIDは、異なるネットワークアーキテクチャ間で移行可能な敵対的攻撃に対しても効果的に防御できるか？
• RQ5 ACIDは、さまざまな再構成手法および画像モalityに一般化可能か？

主な発見

• ACIDは、CTおよびMRIデータセットの両方で、深層再構成ネットワークに対する敵対的攻撃の成功率を最大90％まで低減した。
• フレームワークは高い再構成忠実度を維持しており、クリーンな状態下でも標準的な訓練ベースラインと比較してPSNR値が1 dB以内に収まっている。
• ACIDによって生成された敵対的例は、モデル間でより移行可能であることが示され、防御の一般化性能が向上していることが裏付けられた。
• カリキュラムベースの訓練スケジュールは、ランダムな摂動スケジュールと比較して、収束が速く、より安定した訓練ダイナミクスを示した。
• アブレーションスタディにより、ACIDは単一ネットワークおよび全ネットワーク攻撃の両方に対して効果的に防御できることを実証した。
• オープンソースのコードベースにより、標準的なハードウェアおよびソフトウェア構成を用いて結果の完全な再現が可能となった。