[논문 리뷰] The troublesome kernel -- On hallucinations, no free lunches and the accuracy-stability trade-off in inverse problems

Nina Maria Gottschling, Vegard Antun외 2명|arXiv (Cornell University)|2020. 01. 05.

Medical Imaging Techniques and Applications인용 수 12

한 줄 요약

이 논문은 영상 분야의 AI 기반 방법을 포함한 역문제 해법에서 환각, 불안정성, 예측 불가능한 성능 장애의 이론적 기반을 수립한다. 이러한 실패 원인은 전방 연산자의 핵심과 본질적인 정확도-안정성 상충 관계에서 기인하며, 보편적으로 최적의 재구성 맵이 존재하지 않음을 증명한다. 이는 특정 조건 하에서 이러한 문제가 수학적으로 피할 수 없음을 설명하는 '무료 점심' 정리들을 제시한다.

ABSTRACT

Methods inspired by Artificial Intelligence (AI) are starting to fundamentally change computational science and engineering through breakthrough performances on challenging problems. However, reliability and trustworthiness of such techniques is a major concern. In inverse problems in imaging, the focus of this paper, there is increasing empirical evidence that methods may suffer from hallucinations, i.e., false, but realistic-looking artifacts; instability, i.e., sensitivity to perturbations in the data; and unpredictable generalization, i.e., excellent performance on some images, but significant deterioration on others. This paper provides a theoretical foundation for these phenomena. We give mathematical explanations for how and when such effects arise in arbitrary reconstruction methods, with several of our results taking the form of `no free lunch' theorems. Specifically, we show that (i) methods that overperform on a single image can wrongly transfer details from one image to another, creating a hallucination, (ii) methods that overperform on two or more images can hallucinate or be unstable, (iii) optimizing the accuracy-stability trade-off is generally difficult, (iv) hallucinations and instabilities, if they occur, are not rare events, and may be encouraged by standard training, (v) it may be impossible to construct optimal reconstruction maps for certain problems. Our results trace these effects to the kernel of the forward operator whenever it is nontrivial, but also apply to the case when the forward operator is ill-conditioned. Based on these insights, our work aims to spur research into new ways to develop robust and reliable AI-based methods for inverse problems in imaging.

연구 동기 및 목표

• 역문제 해법, 특히 영상 분야의 AI 기반 방법에서 환각, 불안정성, 예측 불가능한 성능 장애의 수학적 근본 원인을 설명하는 것.
• 특정 입력에서 높은 정확도를 보일 수 있음에도 불구하고 재구성 방법이 실패하는 이론적 조건을 설정하는 것.
• 전방 연산자의 핵심과 불안정성은 이러한 실패의 중심 원인이며, 딥러닝의 특수한 특성 때문만은 아니라는 것을 보여주는 것.
• 정확도와 안정성을 동시에 최적화하는 것이 본질적으로 제한되어 있으며, 이로 인해 피할 수 없는 상충 관계가 발생한다는 것을 보여주는 것.
• 딥러닝을 초월한 적용이 가능한 이론적 프레임워크를 제공하여, 역문제를 위한 어떤 재구성 방법에도 내재된 한계를 드러내는 것.

제안 방법

• 전방 연산자의 핵심과 영향을 받는 영역 성질을 사용하여 역문제의 재구성 맵을 분석하는 수학적 프레임워크를 개발한다.
• 정확하고 안정적인 복원이 가능한 조건을 기술하기 위해 강건한 영역 성질(rNSP)을 적용한다.
• rNSP에서 유도된 오차 한계를 사용하여 희박성과 측정 노이즈의 관점에서 재구성 정확도와 안정성을 정량화한다.
• 특정 이미지에서의 성능 향상이 일반화 시 환각이나 불안정성으로 이어지는 것을 증명하는 '무료 점심' 정리를 제시한다.
• 측정 연산자 A와 재구성 맵 Ψ의 공동 설계를 분석하여, 안정적이고 정확한 복원을 위해서는 모델 클래스 M₁과의 정교한 일치가 필요하다는 것을 보여준다.
• 모델 기반 방법(예: ℓ¹-최소화)과 학습된 맵을 비교하여, 후자는 구조화된 오류 행동 덕분에 환각에 덜 취약하다는 것을 밝힌다.

실험 결과

연구 질문

• RQ1 역문제의 재구성 방법이 실제 존재하지 않는, 그러나 현실적으로 보이는 잡음 같은 요소를 생성하는 조건는 무엇인가?
• RQ2 어떤 AI 기반 방법은 특정 이미지에서는 높은 정확도를 보이다가 인접한 이미지에서는 치명적인 실패를 겪는 이유는 무엇이며, 이러한 현상은 피할 수 있는가?
• RQ3 불안정성과 환각은 학습 알고리즘이 아니라 전방 연산자의 핵심의 구조 때문인가?
• RQ4 역문제에 대해 최적의 재구성 맵이 존재할 수 있는가? 존재하지 않는다면 그 이유는 무엇인가?
• RQ5 정확도-안정성 상충 관계는 어떻게 수학적으로 발생하며, 이를 정량적으로 경계할 수 있는가?

주요 결과

• 환각은 재구성 방법이 특정 이미지에서 성능을 과도하게 높일 경우 발생하며, 이는 한 이미지의 세부 정보가 다른 이미지로 이식되는 방식으로 나타난다.
• 불안정성과 환각은 드문 일이 아니며, 전방 연산자의 비자명한 핵심이 존재할 경우, 두 개 이상의 이미지에서 성능을 과도하게 높일 경우 수학적으로 피할 수 없다.
• 정확도-안정성 상충 관계는 '무료 점심' 정리들을 통해 본질적으로 최적화하기 어려운 것으로 밝혀졌으며, 어떤 한 방법도 모든 이미지에서 최적일 수 없다는 것을 증명한다.
• 표준 학습 절차는 전방 연산자가 약한 조건을 가질 경우 환각과 불안정성을 악성으로 유도할 수 있다.
• 모델 기반 방법인 ℓ¹-최소화와 rNSP를 사용한 방법은 오류가 물리적으로 비합리적인 웨이블릿 유사 잡음으로 나타나므로 환각에 덜 취약하다.
• 압축 측정 기반 맵은 전방 연산자 A가 rNSP를 만족하고 신호가 모델 클래스 M₁에 속할 경우에만 안정적이고 정확하며, 그렇지 않으면 불안정성 또는 환각이 발생할 수 있다.