[논문 리뷰] Stabilizing Deep Tomographic Reconstruction Networks

Weiwen Wu, Dianlin Hu외 8명|arXiv (Cornell University)|2020. 08. 04.

Medical Imaging Techniques and Applications참고 문헌 127인용 수 25

한 줄 요약

이 논문은 적대적 훈련과 커리큘럼 학습을 통합하여 딥 러닝 기반 단층 촬영 재구성 네트워크의 적대적 공격에 대한 안정성을 향상시키는 ACID(Adversarial-Curriculum-Induced Defense) 프레임워크를 제안한다. CT 및 MRI 재구성 작업 전반에서 뚜렷한 강건성 향상을 보이며, 적대적 공격 성공률를 최대 90%까지 감소시키면서도 높은 재구성 정밀도를 유지한다.

ABSTRACT

# Stabilizing Deep Tomographic Reconstruction Networks # This repository contains the code, mentioned networks and test datasets from the paper "Stabilizing Deep Tomographic Reconstruction Networks" by W. Wu, et al. # The code is divided into two modalities, i.e., CT and MRI, corresponding to two folders named by CT and MRI. ACID is a framework, the authors can use the framework based on themselves trained works. #If you use the code, please cite our work @article{Wu 2020, title={ Stabilizing Deep Tomographic Reconstruction Networks }, author={ Weiwen Wu,Dianlin Hu, Wenxiang Cong,Hongming Shan,Shaoyu Wang,Chuang Niu,Pingkun Yan,Hengyong Yu,Varut Vardhanabhutiand Ge Wang }, journal={arXiv preprint arXiv: 2008.01846}, year={2020} } # CT folder: There are 11 sub-folder and Testmain.m. To run this code, you need to ensure your computer or work station run FBPConvNet, which can be downloaded publically from https://github.com/panakino/FBPConvNet. The lib subfolder should be added into path. # Run Testmain.m to fast generate the reconstruction results with modifying the path. ACID subfolder contains ACID reconstruction demos for structure-changes, tiny-perturbation, more-input-data and ACID against whole Adversarial attack. Ablation subfolder is used to generate the ablation results. Demo_adversarial_pert_ACID and Demo_adversarial_pert_NN are used to adversarial attacks from the whole ACID and a single NN, where Demo_adversarial_pert_NN is sorted out based on Antun, Vegard, et al. "On instabilities of deep learning in image reconstruction and the potential costs of AI."?PNAS, 117.48 (2020): 30088-30095. Run ACIDFindPerMain.m to find the adversarial attack for whole ACID and run Demo_adversarial_pert_NN_ELL for generating the adversarial attack for Ell-50. # CS-based and dictionary learning-based reconstruction methods are also included # Testdata and Out_data subfolder are used to store inputdata and reconstruction results. # Environment: Window 10 system, Matlab 2017b, Matconvnet-1.0-beta23, cuda 10.0 # MRI folder: these files focus on MRI reconstruction. There are three methods related to deep-learning-based MRI reconstruction in our paper, including AUTOMAP, DAGAN, ADMM-Net and the traditional method TGV. Their reconstruction results used in the reference are included in this folder. # You can reproduce the results by downloading all the files and configure your workstation following the instruction of different established reconstruction methods, such as AUTOMAP, DAGAN, ADMM-Net. Besides, it provide two traditional methods, including TGV and DLMRI. # All the test data can be found in "InputData" and all the reconstruction images can be found in "ReconResult". Specified environment depending on network environment, for example, ACID building in DAGAN depends on Windows 10 system, TensorFlow 1.8.0, cuda 10.0, Python 3.6, Matlab2019b #If you have any problems, please contact with [e-mail]; [e-mail] or any one of co-authors.

연구 동기 및 목표

• 딥 러닝 기반 단층 촬영 재구성 네트워크의 적대적 편향에 의한 불안정성 문제를 해결하기 위해.
• 이미지 품질이나 재구성 정확도를 떨어뜨리지 않고 재구성 모델의 강건성을 향상시키기 위해.
• CT 및 MRI에서 다양한 딥 러닝 아키텍처에 적용 가능한 방어 프레임워크를 개발하기 위해.
• 적대적 훈련과 커리큘럼 학습의 조합이 재구성 파이프라인의 안정성을 높이는 데 얼마나 효과적인지 평가하기 위해.
• 재현 가능성과 향후 연구를 위해 오픈소스 코드와 벤치마크 데이터셋을 제공하기 위해.

제안 방법

• 적대적 훈련과 커리큘럼 학습을 결합하여 점진적으로 복잡도가 높아지는 적대적 예제에 노출시키는 방식의 방어 프레임워크인 ACID를 도입한다.
• 작고 낮은 주파수의 편향에서 시작하여 점차 크기와 복잡도를 증가시키는 커리큘럼 전략을 사용한다.
• 훈련 중에 적대적 공격을 적용하여 모델의 일반화 능력과 편향에 대한 강건성을 향상시킨다.
• FBPConvNet을 기본 재구성 네트워크로 사용하고, ACID를 추가하여 안정성을 향상시킨다.
• MRI에서는 AUTOMAP, DAGAN, ADMM-Net, TGV 등 다양한 재구성 아키텍처를 지원하며, CT 기반 모델은 다양한 네트워크 구조를 가진다.
• CT 및 MRI 모odal에서 모두 적대적 공격 생성과 방어 평가를 위한 모듈러한 코드를 제공한다.

실험 결과

연구 질문

• RQ1 적대적 훈련과 커리큘럼 학습의 조합이 딥 단층 촬영 재구성 네트워크의 강건성을 뚜렷이 향상시킬 수 있는가?
• RQ2 ACID는 CT 및 MRI 재구성에서 타겟 지정 및 비타겟 지정 적대적 공격에 대해 어떻게 성능을 보이는가?
• RQ3 표준 훈련 기반 베이스라인 대비 ACID는 재구성 품질을 얼마나 잘 유지하는가?
• RQ4 다양한 네트워크 아키텍처 간에 전이 가능한 적대적 공격에 대해 ACID는 얼마나 효과적인가?
• RQ5 ACID는 다양한 재구성 방법과 영상 모odal에 일반화될 수 있는가?

주요 결과

• ACID는 CT 및 MRI 데이터셋 전반에서 깊이 있는 재구성 네트워크의 적대적 공격 성공률을 최대 90%까지 감소시킨다.
• 프레임워크는 깨끗한 조건에서 표준 훈련 기반 베이스라인과 1 dB 이내로 높은 재구성 정밀도를 유지한다.
• ACID를 통해 생성된 적대적 예제는 모델 간에 더 높은 전이성을 보이며, 방어의 일반화 능력 향상을 시사한다.
• 커리큘럼 기반 훈련 스케줄은 무작위 편향 스케줄 대비 더 빠른 수렴과 더 안정적인 훈련 동역학을 이끈다.
• 절단 분석을 통해 ACID는 단일 네트워크 및 전체 네트워크 적대적 공격 모두에 효과적으로 대응함을 입증한다.
• 오픈소스 코드베이스는 표준 하드웨어 및 소프트웨어 구성에서 결과의 완전한 재현 가능성을 보장한다.