[논문 리뷰] End-to-end learning of energy-based representations for irregularly-sampled signals and images

Ronan Fablet, Lucas Drumetz외 1명|arXiv (Cornell University)|2019. 10. 01.

Image and Signal Denoising Methods참고 문헌 22인용 수 8

한 줄 요약

이 논문은 신경망을 사용하여 에너지 기반 표현과 보간 기법을 동시에 학습하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이는 비정규적으로 샘플링된 신호 및 이미지에 대해 에너지 기반 표현과 보간 기법을 동시에 학습하며, 자동에코더와 지브스 에너지 사전을 모두 신경망으로 모델링한다. 이 방법은 시간 시리즈, 이미지, 이미지 시퀀스 등 다양한 데이터 유형에서 높은 데이터 누락 비율 조건에서도 최신 기술 수준의 재구성 성능를 달성한다.

ABSTRACT

For numerous domains, including for instance earth observation, medical imaging, astrophysics,..., available image and signal datasets often involve irregular space-time sampling patterns and large missing data rates. These sampling properties may be critical to apply state-of-the-art learning-based (e.g., auto-encoders, CNNs,...), fully benefit from the available large-scale observations and reach breakthroughs in the reconstruction and identification of processes of interest. In this paper, we address the end-to-end learning of representations of signals, images and image sequences from irregularly-sampled data, i.e. when the training data involved missing data. From an analogy to Bayesian formulation, we consider energy-based representations. Two energy forms are investigated: one derived from auto-encoders and one relating to Gibbs priors. The learning stage of these energy-based representations (or priors) involve a joint interpolation issue, which amounts to solving an energy minimization problem under observation constraints. Using a neural-network-based implementation of the considered energy forms, we can state an end-to-end learning scheme from irregularly-sampled data. We demonstrate the relevance of the proposed representations for different case-studies: namely, multivariate time series, 2D images and image sequences.

연구 동기 및 목표

• 대부분의 신호 또는 이미지 영역이 누락된 비정규적으로 샘플링된 데이터에서 의미 있는 표현을 학습하는 데 도전하는 것.
• 에너지 기반 표현과 관련된 보간 기법을 동시에 최적화하는 공동 학습 프레임워크를 개발하는 것.
• 표준 보간 기법을 넘어서 데이터 유형에 특화된 사전을 학습함으로써 다양한 데이터 유형으로 일반화되는 딥 러닝 접근법을 확장하는 것.
• 샘플링이 본질적으로 비정규적이며 데이터 누락이 흔한 분야인 원격 탐사 및 의료 영상에서 효과적인 표현 학습을 가능하게 하는 것.
• 실제 데이터에서 높은 데이터 누락 비율 조건에서도 신경망 기반 에너지 모델(특히 자동에코더 및 지브스 에너지 형태)의 효과성을 입증하는 것.

제안 방법

• 관측 제약 조건 하에서 에너지 최소화 문제로 보간을 공식화하며, 에너지 사전 $ U_\theta(X) $ 를 베이지안 유사성에 기반하여 정의한다.
• 두 가지 에너지 형태를 조사한다: 하나는 자동에코더에서 유도된 것이고, 다른 하나는 지브스 사전 기반이다. 둘 다 신경망을 통해 매개변수화된다.
• 학습 과정은 관측된 부분영역 $ \Omega^{(i)} $ 에서 재구성 오차를 최소화하는 것으로 구성되며, 식으로 표현하면 $ \widehat{\theta} = \arg\min_\theta \sum_i \|Y^{(i)} - \mathcal{I}(U_\theta, Y^{(i)}, \Omega^{(i)})\|^2_{\Omega^{(i)}} $ 로 정의된다.
• 보간 연산자 $ \mathcal{I} $ 는 에너지 최소화 문제를 해결하는 신경망을 통해 구현되며, 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 계산 비용이 높은 MCMC나 기울기 기반 해법을 피하기 위해 효율적인 추론을 위한 고정점 신경망 아키텍처를 사용한다.
• 모델은 비정규적으로 샘플링된 데이터에서 엔드 투 엔드로 학습되며, 에너지 사전과 재구성 매핑을 동시에 최적화하는 단일 최적화 루프를 통해 학습된다.

실험 결과

연구 질문

• RQ1 완전한 기준 데이터가 없는 비정규적으로 샘플링된 데이터에서 에너지 기반 표현을 효과적으로 학습할 수 있는가?
• RQ2 신경망 기반 자동에코더 및 지브스 에너지 사전은 높은 데이터 누락 비율 조건에서 신호 재구성에 있어 어떻게 비교되는가?
• RQ3 에너지 사전과 보간 기법을 동시에 학습하는 방식이 표준 사전 학습 모델 대비 재구성 정확도를 향상시키는가?
• RQ4 학습된 에너지 사전은 시간 시리즈, 이미지, 이미지 시퀀스와 같은 다양한 데이터 유형 간에 얼마나 잘 일반화되는가?
• RQ5 제안된 프레임워크는 재구성 외의 작업에 있어서도 학습된 사전을 즉시 사용할 수 있도록 지원하는가?

주요 결과

• 제안된 엔드 투 엔드 학습 프레임워크는 높은 데이터 누락 비율 조건에서도 多변량 시간 시리즈, 2D 이미지, 이미지 시퀀스에서 뛰어난 재구성 성능를 달성한다.
• 이 방법은 완전한 기준 데이터가 없는 비정규적으로 샘플링된 데이터로부터도 자동에코더 및 지브스 에너지 기반 표현을 성공적으로 학습한다.
• 지역 이웃 구조를 활용하는 신경망 기반 지브스 에너지 사전은 복잡한 공간 패턴을 더 잘 포착하여 기존 사전보다 뛰어난 성능를 보인다.
• 고정점 신경망 아키텍처는 효율적인 추론을 가능하게 하며, MCMC나 반복 최적화의 계산 부담을 피한다.
• 학습된 에너지 표현은 새로운 데이터에 잘 일반화되며, 재구성 외의 작업에도 재사용 가능하므로 플러그 앤 플레이 배포 잠재력을 보여준다.
• 수치 실험을 통해 데이터의 80%가 누락된 경우에도 프레임워크가 강건하게 작동하며, 극도로 희박한 조건에서도 강력한 일반화 성능를 입증한다.