[논문 리뷰] Solving Inverse Problems With Deep Neural Networks -- Robustness Included?

Martin Genzel, Jan Macdonald외 1명|Data Archiving and Networked Services (DANS)|2020. 11. 09.

Advanced X-ray and CT Imaging인용 수 6

한 줄 요약

이 논문은 영상에서 역문제를 해결하기 위한 딥 뉴럴 네트워크(DNN)의 강건성, 특히 적대적 노이즈와 통계적 노이즈 하에서의 성능을 조사한다. 이전의 적대적 취약성에 대한 우려에도 불구하고, 저자들은 일반적인 엔드 투 엔드 DNN—특수 방어 기법 없이 일반적인 기법으로 훈련된 DNN—가 양쪽 노이즈 유형에 대해 강건함을 발견하였으며, 통제된 환경에서 전통적인 총 변동 최소화 방법보다도 적대적 강건성에서 뛰어난 성능을 보였다.

ABSTRACT

In the past five years, deep learning methods have become state-of-the-art in solving various inverse problems. Before such approaches can find application in safety-critical fields, a verification of their reliability appears mandatory. Recent works have pointed out instabilities of deep neural networks for several image reconstruction tasks. In analogy to adversarial attacks in classification, it was shown that slight distortions in the input domain may cause severe artifacts. The present article sheds new light on this concern, by conducting an extensive study of the robustness of deep-learning-based algorithms for solving underdetermined inverse problems. This covers compressed sensing with Gaussian measurements as well as image recovery from Fourier and Radon measurements, including a real-world scenario for magnetic resonance imaging (using the NYU-fastMRI dataset). Our main focus is on computing adversarial perturbations of the measurements that maximize the reconstruction error. A distinctive feature of our approach is the quantitative and qualitative comparison with total-variation minimization, which serves as a provably robust reference method. In contrast to previous findings, our results reveal that standard end-to-end network architectures are not only resilient against statistical noise, but also against adversarial perturbations. All considered networks are trained by common deep learning techniques, without sophisticated defense strategies.

연구 동기 및 목표

• 측정 공간에서의 적대적 편향에 대한 딥 러닝 기반 역문제 해법의 강건성을 평가하기 위해.
• 통계적 노이즈와 적대적 노이즈 하에서, 딥 뉴럴 네트워크와 증명된 강건한 기준 방법인 총 변동 최소화 간의 성능을 비교하기 위해.
• 데이터 저울링과 같은 표준 훈련 기법이 명시적인 방어 메커니즘이 없이도 적대적 강건성을 갖춘 재구성 모델을 생성할 수 있는지 조사하기 위해.
• 측정 샘플링 패턴(예: k-공간에서의 라디얼 라인 대 수직 라인)이 적대적 강건성에 미치는 영향을 평가하기 위해.
• 관찰된 강건성이 아키텍처 설계인지 훈련 루틴인지, 특히 실제 의료 영상 시나리오에서의 강건성은 어느 정도인지 결정하기 위해.

제안 방법

• 저자들은 압축 감지에 대한 가우시안 측정과 푸리에 및 라돈 측정 기반 이미지 복구를 포함한 합성 및 실제 영상 문제에 대해 표준 엔드 투 엔드 딥 뉴럴 네트워크 아키텍처를 훈련시켰다.
• 적대적 편향는 측정 벡터를 타겟으로 하되 L2 노름이 작게 유지되도록 기울기 기반 최적화를 통해 계산되었다.
• 재구성 오차는 PSNR 및 SSIM과 같은 표준 지표를 사용하여 DNN 출력과 진짜 값, TV 기반 재구성 결과와 비교하여 평가되었다.
• 동일한 측정 모델과 노이즈 수준을 사용하여 DNN와 총 변동(TV) 최소화 간의 체계적 비교를 수행하였다.
• 훈련 과정에는 강건성을 향상시키기 위한 표준 정규화 기법으로 데이터 저울링(랜덤 노이즈 주입)이 포함되었다.
• 실험은 싱글 코일 및 멀티 코일 데이터를 사용한 NYU-fastMRI 데이터셋에서 수행되었으며, 다양한 노이즈 조건 하에서 재구성 결과를 시각화하고 정량화하였다.

실험 결과

연구 질문

• RQ1 역문제를 위한 딥 뉴럴 네트워크는 이미지 분류에서 관찰된 것과 유사하게 측정 도메인에서의 적대적 편향에 취약한가?
• RQ2 적대적 노이즈 하에서 DNN 기반 재구성 방법의 강건성은 총 변동 최소화 방법보다 어떻게 비교되는가?
• RQ3 데이터 저울링과 같은 표준 훈련 기법이 명시적인 방어 기법 없이도 통계적 노이즈와 적대적 노이즈에 모두 강건한 DNN를 생성할 수 있는가?
• RQ4 샘플링 패턴의 선택(예: 라디얼 대 수직 k-공간 선)이 딥 러닝 기반 이미지 재구성의 적대적 강건성에 영향을 미치는가?
• RQ5 실제의 역문제 설정, 즉 합성 및 실제 MRI 데이터를 포함한 다양한 환경에서 관찰된 강건성 결과는 어느 정도 일반화되는가?

주요 결과

• 일반적인 기법으로 훈련된 엔드 투 엔드 딥 뉴럴 네트워크는 측정 도메인에서의 적대적 편향에 대해 강력한 저항성을 보이며, 최악의 경우에도 재구성 오차가 중간 정도로만 증가한다.
• 특히 푸리에 및 라돈 기반 역문제에서 TV 최소화 방법보다 DNN의 강건성이 뛰어나며, 이는 TV가 이론적으로 증명된 강건성에도 불구하고 그렇다.
• 적대적 공격는 훈련 데이터가 노이즈가 없는 경우에만 재구성 잡음이 심각하게 발생하지만, 훈련 중 저울링이 이 취약성을 효과적으로 완화한다.
• 모든 테스트 시나리오에서 통계적 노이즈와 적대적 노이즈의 영향 간 격차는 일관되며, 이는 적대적 강건성이 특정 아키텍처나 데이터셋의 산물이 아님을 시사한다.
• fastMRI 데이터셋에서 저울링을 사용해 훈련된 DNN는 적대적 편향 하에서도 높은 PSNR 및 SSIM 값을 달성하여 실제 의료 영상 환경에서의 실용적 강건성을 보여준다.
• 이 연구는 역문제에서의 적대적 강건성이 분류와 달리 재구성의 회귀 성격과 본질적으로 연결되어 있을 수 있음을 드러낸다.