[논문 리뷰] Random mesh projectors for inverse problems

Sidharth Gupta, Konik Kothari외 2명|arXiv (Cornell University)|2018. 05. 29.

Seismic Imaging and Inversion Techniques참고 문헌 65인용 수 4

한 줄 요약

이 논문은 지도 학습 데이터가 극도로 부족한 상황에서 심각하게 불안정한 역문제를 해결하기 위한 이중 단계 기반 학습 방법을 제안한다. 직접 역함수 매핑을 학습하는 대신, 무작위 조각별 일정한 부분공간(Delaunay 기반)으로 미지의 이미지를 투영하는 것을 학습하고, 이 투영을 디컨볼루션 유사 재구성 방식으로 융합함으로써 직접 역함수화에 비해 노이즈 및 예측되지 않은 오염에 대해 훨씬 더 뛰어난 내성과 안정성을 확보한다.

ABSTRACT

We propose a new learning-based approach to solve ill-posed inverse problems in imaging. We address the case where ground truth training samples are rare and the problem is severely ill-posed - both because of the underlying physics and because we can only get few measurements. This setting is common in geophysical imaging and remote sensing. We show that in this case the common approach to directly learn the mapping from the measured data to the reconstruction becomes unstable. Instead, we propose to first learn an ensemble of simpler mappings from the data to projections of the unknown image into random piecewise-constant subspaces. We then combine the projections to form a final reconstruction by solving a deconvolution-like problem. We show experimentally that the proposed method is more robust to measurement noise and corruptions not seen during training than a directly learned inverse.

연구 동기 및 목표

• 지도 학습 데이터가 극도로 제한된 상황에서 심각하게 불안정한 영상 역문제를 해결하는 데 도전한다.
• 저신호 대비 노이즈 비율과 측정 오염 상황에서 직접 딥러닝 역함수화의 불안정성을 극복한다.
• 다양한 학습 데이터셋에 대해 일반화되며, 훈련 중에 나타나지 않은 오염 유형에도 내성적인 방법을 개발한다.
• 훈련 중에 관측되지 않은 방식의 희귀성 또는 오염이 있는 측정치에서도 기하학적 특징을 정확히 재구성할 수 있도록 한다.
• 문제를 더 단순하고 저차원의 투영 학습 과제로 분해함으로써 직접 역함수화의 안정적인 대안을 제공한다.

제안 방법

• 무작위 Delaunay 삼각분할을 사용하여 조각별 일정한 부분공간을 정의하고, 이에 의해 미지의 이미지를 저차원의 구조적 표현으로 투영한다.
• 노이즈가 있거나 오염된 측정치를 이러한 무작위 부분공간 내의 투영으로 매핑하는 컨볼루션 신경망을 학습함으로써 리프시츠 상수를 감소시키고 일반화 능력을 향상시킨다.
• 다양한 무작위 부분공간에서의 추정치를 융합하는 디컨볼루션 유사 역문제를 풀어 최종 이미지를 재구성한다.
• 다양한 무작위 부분공간에 대해 기댓값을 취할 경우, 병합된 재구성을 선형 시스템으로 공식화하고, 이 경우 문제는 디컨볼루션으로 단순화된다.
• 이중 단계 프레임워크를 사용한다: 먼저 다수의 저차원 투영을 추정하고, 그 다음 이를 일관된 전체 해상도 이미지로 융합한다.
• 국소 평균화(조각별 일정한 투영)는 픽셀 단위 재구성보다 더 안정적인 학습 과제임을 활용한다.

실험 결과

연구 질문

• RQ1 희소 학습 데이터에서 무작위 저차원 부분공간으로의 투영 학습이 일반화 능력을 향상시키는가?
• RQ2 측정 노이즈 및 예측되지 않은 오염에 대해 제안된 방법이 직접 역함수화에 비해 얼마나 더 내성적인가?
• RQ3 훈련 데이터에 존재하지 않은 오염 유형에 대해 테스트했을 때 기하학적 정확도를 유지하는가?
• RQ4 실제 지도 데이터가 없을 경우, 다양한 학습 데이터셋 간에 얼마나 잘 일반화되는가?
• RQ5 무작위 부분공간에 대해 기댓값을 취할 경우 재구성된 역문제를 디컨볼루션으로 해석할 수 있는가?

주요 결과

• 10 dB 노이즈 측정치에서 훈련 및 테스트한 결과, 제안된 방법은 직접 역함수화(13.51 dB)보다 평균 SNR이 높은 14.49 dB를 달성한다.
• 입력 SNR 불일치 상황에서도 제안된 방법은 재구성 품질을 유지(12.88 dB)하지만, 직접 역함수화는 심각하게 악화됨(10.34 dB).
• 확률 1/12의 삭제 오염 상황에서 제안된 방법은 평균 SNR 12.08 dB를 기록했고, 직접 역함수화는 완전히 실패함(9.03 dB).
• 직접 역함수화가 날카롭지만 잘못된 구조를 환영하는 동안, 제안된 방법은 구멍 윤곽 등의 기하학적 특징을 정확히 재구성한다.
• LSUN, CelebA, 합성 형태 등의 다양한 학습 데이터셋에서 일관된 재구성 결과를 보이며, 데이터셋 과적합에 대한 내성을 입증한다.
• 시각적 비교 결과, 제안된 방법은 카드 블록 및 X-레이 필라멘트에서 정확한 기하학을 유지하지만, 직접 역함수화는 주요 특징을 복원하지 못한다.