[논문 리뷰] The troublesome kernel: why deep learning for inverse problems is typically unstable.

Nina Maria Gottschling, Vegard Antun외 2명|arXiv (Cornell University)|2020. 01. 05.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 66

한 줄 요약

이 논문은 영상 분야의 역문제에 적용되는 딥러닝(DL) 방법이 랜덤 노이즈가 존재하는 상황에서도 일반적으로 불안정한 이유를 엄밀한 수학적 분석으로 설명한다. 높은 재구성 정확도가 불안정성의 대가를 치르는 경우가 많으며, 신경망을 훈련시키는 것만으로 최적의 재구성 방법을 도출하지 못할 수 있음을 밝혀내며, 딥러닝이 항상 성능을 향상시킨다는 가정에 도전한다.

ABSTRACT

There is overwhelming empirical evidence that Deep Learning (DL) leads to unstable methods in applications ranging from image classification and computer vision to voice recognition and automated diagnosis in medicine. Recently, a similar instability phenomenon has been discovered when DL is used to solve certain problems in computational science, namely, inverse problems in imaging. In this paper we present a comprehensive mathematical analysis explaining the many facets of the instability phenomenon in DL for inverse problems. Our main results not only explain why this phenomenon occurs, they also shed light as to why finding a cure for instabilities is so difficult in practice. Additionally, these theorems show that instabilities are typically not rare events - rather, they can occur even when the measurements are subject to completely random noise - and consequently how easy it can be to destablise certain trained neural networks. We also examine the delicate balance between reconstruction performance and stability, and in particular, how DL methods may outperform state-of-the-art sparse regularization methods, but at the cost of instability. Finally, we demonstrate a counterintuitive phenomenon: training a neural network may generically not yield an optimal reconstruction method for an inverse problem.

연구 동기 및 목표

• 딥러닝 방법이 영상 분야의 역문제에 적용될 때 발생하는 불안정성의 근본 원인을 이해하는 것.
• 측정값이 랜덤 노이즈에 의해 오염되어도 불안정성이 지속되는 이유를 조사하는 것.
• DL 기반 솔버에서 높은 재구성 성능와 수치적 불안정성 사이의 트레이드오프를 분석하는 것.
• 딥러닝을 통해 신경망을 훈련시키면 항상 최적의 재구성 방법이 도출된다는 가정에 도전하는 것.
• 딥러닝을 통한 역문제 해결에서 불안정성을 극복하는 것이 실무에서 왜 어려운지에 대한 이론적 통찰을 제공하는 것.

제안 방법

• 최적화, 일반화, 안정성 간의 상호작용에 초점을 맞춘 역문제에 응용된 딥러닝 모델의 종합적인 수학적 분석을 수행하는 것.
• 정규화 이론과 안정성 분석의 이론적 프레임워크를 사용하여, 악조건의 역문제에서 훈련된 신경망의 행동을 특성화하는 것.
• 특히 랜덤 노이즈 조건에서 입력 데이터의 미세한 변형에 대한 신경망 출력의 민감도를 분석하는 것.
• 클래식한 희소 정규화 기법과의 성능 및 안정성 비교.
• 신경망이 높은 정확도를 달성할 수 있지만, 미세한 입력 변형에 매우 민감하게 반응하는 조건을 도출하는 것.
• 정확도와 강건성 사이의 본질적 트레이드오프로 인해 최적의 재구성은 훈련만으로 보장되지 않음을 입증하는 것.

실험 결과

연구 질문

• RQ1 입력 데이터에 랜덤 노이즈만 존재하는 상황에서도 딥러닝 방법이 왜 역문제에서 불안정성을 보이는가?
• RQ2 딥러닝에서의 높은 재구성 정확도는 어느 정도의 수치적 불안정성과 맞바꾸어 지는가?
• RQ3 다양한 훈련을 거친 후에도 왜 역문제에 대한 안정적인 딥러닝 모델을 설계하는 것이 어려운가?
• RQ4 훈련 데이터에서 잘 작동하더라도, 훈련된 신경망이 여전히 역문제에 대한 최적의 재구성 방법이 아닐 수 있는가?
• RQ5 딥러닝 방법의 안정성은 클래식한 희소 정규화 기법과 비교해 볼 때 어떻게 다른가?

주요 결과

• 딥러닝을 통한 역문제 해결에서의 불안정성은 희귀한 현상이 아니라, 측정값에 완전히 랜덤한 노이즈가 존재하는 경우에도 일반적인 현상이다.
• 딥러닝 모델의 높은 재구성 성능는 종종 심각한 불안정성과 공존하며, 이는 정확도와 강건성 사이의 근본적인 트레이드오프를 시사한다.
• 신경망을 훈련한다고 해서 반드시 역문제에 대한 최적의 재구성 방법이 도출되는 것은 아니며, 이는 더 나은 성능이 더 나은 안정성을 의미한다는 가정에 도전한다.
• 이론적 분석에 따르면, 불안정성은 깊은 네트워크가 노이즈가 있는 입력을 해답으로 매핑하는 방식에서 기인하며, 이로 인해 미세한 입력 변형에 매우 민감하게 반응한다.
• 딥뉴럴네트워크의 인덕티브 바이어스로 인해, 기저 역문제가 잘 정의되어 있더라도 안정성이 보장되지 않는다.
• 논문은 신경망이 미세한 랜덤 변형에 쉽게 불안정해질 수 있음을 입증하여, 현재의 DL 기반 솔버의 취약성을 강조한다.