[논문 리뷰] Learned SVD: solving inverse problems via hybrid autoencoding

Yoeri E. Boink, Christoph Brüne|arXiv (Cornell University)|2019. 12. 20.

Model Reduction and Neural Networks참고 문헌 45인용 수 8

한 줄 요약

이 논문은 측정값과 신호에 대한 비선형 저차원 다양체를 두 개의 연결된 오토인코더를 통해 학습함으로써 역문제를 해결하는 데이터 기반 방법인 학습된 SVD(L-SVD)를 소개한다. 이 방법은 잠재 표현을 연결하는 선형 스케일링 레이어를 포함한다. 이 방법은 Tikhonov, ORIM, TV 방법보다 우수한 재구성 품질을 달성하며, 반복적 방법이나 전방 연산자에 대한 사전 지식 없이도 해석 가능한 한 번의 단계로 역연산을 수행할 수 있고, 전방 모델이 알려져 있을 경우 수렴 보장을 제공한다.

ABSTRACT

Our world is full of physics-driven data where effective mappings between data manifolds are desired. There is an increasing demand for understanding combined model-based and data-driven methods. We propose a nonlinear, learned singular value decomposition (L-SVD), which combines autoencoders that simultaneously learn and connect latent codes for desired signals and given measurements. We provide a convergence analysis for a specifically structured L-SVD that acts as a regularisation method. In a more general setting, we investigate the topic of model reduction via data dimensionality reduction to obtain a regularised inversion. We present a promising direction for solving inverse problems in cases where the underlying physics are not fully understood or have very complex behaviour. We show that the building blocks of learned inversion maps can be obtained automatically, with improved performance upon classical methods and better interpretability than black-box methods.

연구 동기 및 목표

• 복잡하거나 부분적으로 알려지지 않은 물리적 원리를 가진 역문제를 해결하기 위한 데이터 기반이고 해석 가능한 방법을 개발한다.
• 측정값과 신호에 대한 비선형 다각형을 동시에 학습함으로써 모델 기반 정규화와 딥러닝을 융합한다.
• 잠재 표현을 연결하는 선형 스케일링 레이어를 갖춘 하이브리드 오토인코더 아키텍처를 통해 직접적이고 반복적이지 않은 역연산을 가능하게 한다.
• 전방 연산자가 알려져 있을 경우 L-SVD의 수렴 보장을 이론적으로 제공함으로써, 데이터 기반 Tikhonov 정규화 방법으로 프레임워크화한다.
• 완전한 쌍화된 데이터가 확보되지 않은 경우에도 오토인코더를 활용해 신호 재구성에 정규화를 적용함으로써 반감독 학습을 지원한다.

제안 방법

• L-SVD는 측정값 $ y^\delta $ 를 잠재 코드 $ z^y $ 로 인코딩하는 오토인코더와 신호 $ x $ 를 $ z^x $ 로 인코딩하는 오토인코더를 각각 사용하며, 이는 비선형 방식으로 이루어진다.
• 잠재 표현 $ z^x $ 와 $ z^y $ 는 선형 스케일링 레이어를 통해 연결되며, 이는 두 다각형 간의 학습된 해석 가능한 사상 역할을 한다.
• 모든 네트워크 파라미터는 데이터 다각형과 신호 다각형 양쪽의 정보를 유지하면서 잠재 표현을 정렬하는 데 공동으로 훈련된다.
• 전방 연산자 $ A $ 가 알려져 있을 경우, L-SVD는 노이즈 하에서 수렴이 증명된 데이터 기반 Tikhonov 정규화 방법으로 구조화될 수 있다.
• 이 방법은 컨volutional 및 변동형 오토인코더를 포함한 다양한 아키텍처를 유연하게 지원하며, $ A $ 의 부분 지식을 통합함으로써 일반화 성능을 향상시킬 수 있다.
• 재구성은 순방향 전파를 통해 수행된다: $ y^\delta \to z^y $ 인코딩, 스케일링 $ z^y \to z^x $ 적용, 그리고 $ z^x \to \hat{x} $ 디코딩.

실험 결과

연구 질문

• RQ1 반복적인 고비용 전방 연산자의 적용이 필요 없이도 안정적이고 해석 가능하며 고성능인 역연산 맵핑을 학습할 수 있는 하이브리드 오토인코더 아키텍처가 가능한가?
• RQ2 전방 연산자가 알려져 있을 경우, L-SVD의 성능은 Tikhonov 및 총 변동(TV)과 같은 전통적 정규화 방법과 어떻게 비교되는가?
• RQ3 L-SVD는 전방 물리 모델이 알려져 있거나 복잡할 경우에 얼마나 잘 일반화되는가? 그리고 해석 가능성은 어떻게 유지되는가?
• RQ4 공동 오토인코딩과 선형 스케일링의 영향은 반감독 설정에서 재구성 품질과 수렴성에 어떤 영향을 미치는가?
• RQ5 전방 연산자가 명시적으로 사용되지 않더라도, 노이즈 하에서 수렴 보장이 있는 정규화 방법으로서 L-SVD를 이론적으로 정당화할 수 있는가?

주요 결과

• L-SVD는 테스트 데이터에서 PSNR 36.34 ± 1.62 및 SSIM 0.920 ± 0.023을 기록하여 T-SVD(33.86 ± 1.11 PSNR), ORIM(34.19 ± 1.12 PSNR), TV(35.90 ± 1.40 PSNR)를 모두 능가한다.
• 선형 방법(T-SVD, ORIM)보다 뛰어난 재구성 품질을 제공하며, 비선형 TV 방법과도 PSNR와 SSIM에서 유사하거나 이를 초월한다. 이는 TV가 수렴하기 위해 약 1000회의 반복이 필요하다는 점을 감안할 때 놀라운 성능이다.
• L-SVD는 반복적이지 않은 직접적인 재구성 방식을 제공한다. 반면 TV는 계산 비용이 높고 단일 파rameter의 튜닝이 필요하다.
• 오토인코딩의 발전으로 인해 재구성 오차는 오토인코더의 품질에 의존하므로, 향후 더 나은 아키텍처 개선을 통해 성능 향상을 기대할 수 있다.
• 전방 연산자가 알려져 있을 경우, L-SVD는 노이즈에 대해 수렴함을 증명하여 데이터 기반 Tikhonov 정규화 방법으로서의 이론적 타당성을 확립한다.
• 이 아키텍처는 반감독 학습을 지원한다. 오토인코더는 레이블이 없는 데이터를 활용할 수 있어 표준 지도 학습 네트워크를 초월한 일반화 성능 향상을 이룬다.