[논문 리뷰] Manifold Modeling in Embedded Space: A Perspective for Interpreting Deep Image Prior

Tatsuya Yokota, Hidekata Hontani외 2명|arXiv (Cornell University)|2019. 08. 08.

Advanced Image Processing Techniques참고 문헌 51인용 수 10

한 줄 요약

이 논문은 이미지 데이터 내의 저차원 패치 다양체를 모델링하기 위해 컨volutional 네트워크를 지연-임bedding과 비선형 변환으로 분해하는 간소화된 딥러닝 프레임워크인 임bedded 공간 내 다양체 모델링(MMES)을 제안한다. 다중 방향 지연-임베딩(Hankelization)과 노이즈 제거 autoencoder를 결합함으로써, MMES는 이미지 복원 작업에서 Deep Image Prior(DIP)와 경쟁 가능한 성능을 달성하며, DIP를 저차원 패치 다양체 사전으로 재해석하는 데 기여한다.

ABSTRACT

Deep image prior (DIP), which utilizes a deep convolutional network (ConvNet) structure itself as an image prior, has attracted attentions in computer vision and machine learning communities. It empirically shows the effectiveness of ConvNet structure for various image restoration applications. However, why the DIP works so well is still unknown, and why convolution operation is useful for image reconstruction or enhancement is not very clear. In this study, we tackle these questions. The proposed approach is dividing the convolution into ``delay-embedding'' and ``transformation (\ie encoder-decoder)'', and proposing a simple, but essential, image/tensor modeling method which is closely related to dynamical systems and self-similarity. The proposed method named as manifold modeling in embedded space (MMES) is implemented by using a novel denoising-auto-encoder in combination with multi-way delay-embedding transform. In spite of its simplicity, the image/tensor completion, super-resolution, deconvolution, and denoising results of MMES are quite similar even competitive to DIP in our extensive experiments, and these results would help us for reinterpreting/characterizing the DIP from a perspective of ``low-dimensional patch-manifold prior''.

연구 동기 및 목표

• 딥러닝 네트워크가 무작위로 초기화된 상태에서 훈련되며, 명시적인 사전 설계 없이도 컨볼루션 네트워크가 Deep Image Prior(DIP)에서 효과적인 이미지 사전로 작용하는 이유를 설명하는 것.
• 컨볼루션 연산을 두 구성요소로 분해하는 것: 지연-임베딩(Hankelization)과 비선형 변환(에코더-디코더), 이를 통해 DIP의 핵심 메커니즘을 분리하는 것.
• 다양체 학습과 오토인코더를 사용하여 DIP의 본질적 인덕티브 바이어스를 캡처하는 최소한의 그러나 효과적인 모델 MMES를 제안하는 것.
• DIP의 성공이 깊은 네트워크의 전체 복잡성보다는 이미지 패치의 저차원 다양체를 암묵적으로 모델링할 수 있는 능력에 기인한다는 것을 입증하는 것.
• 다양체 기반 이미지 복원을 통해 동적 시스템, 텐서 모델링, 딥러닝 간의 이론적이고 경험적인 연결을 구축하는 것.

제안 방법

• MMES는 2D 컨볼루션을 세 단계로 분해한다: 다중 방향 Hankelization을 통한 전방 지연-임베딩, 다층 퍼셉트론(MLP)을 통한 비선형 인코딩, 또 다른 MLP를 통한 비선형 디코딩.
• 이 방법은 노이즈 제거 autoencoder 아키텍처를 사용하며, 브로치층이 이미지 패치의 저차원 다양체를 나타내어 강건한 복원을 가능하게 한다.
• 지연-임베딩은 블록 Hankelization을 통해 구현되며, 국소적 이미지 패치를 구조적 행렬로 변환하여 이동 불변 특성과 자기 유사성을 유지한다.
• 모델은 입력과 출력 간의 재구성 손실(제곱 오차)을 최소화함으로써 엔드 투 엔드로 훈련되며, 에코더-디코더는 노이즈가 섞이거나 손상된 패치를 깨끗하고 저차원 다양체로 매핑하는 데 학습한다.
• 브로치층의 은닉 표현은 입력 패치 공간보다 낮은 차원(r < τ²)이 되도록 제약되며, 이는 다양체 학습을 강제한다.
• 이 프레임워크는 오직 오토인코더와 임베딩 변환의 구조만을 사용하여 인painting, 슈퍼레졸루션, 디컨볼루션, 노이즈 제거와 같은 이미지 복원 작업에 적용된다.

실험 결과

연구 질문

• RQ1 무작위로 초기화된 네트워크에서 훈련되며, 쌍이 맞지 않는 데이터를 다루는 Deep Image Prior(DIP)가 왜 이렇게 잘 일반화되는가?
• RQ2 표현 능력 이상의 차원에서 컨볼루션 네트워크가 효과적인 이미지 사전로 작용하는 데 기여하는 기반이 되는 인덕티브 바이어스는 무엇인가?
• RQ3 DIP의 성공이 이미지 패치의 저차원 다양체를 모델링하기 때문이라면, 이를 어떻게 수학적으로 형식화할 수 있는가?
• RQ4 지연-임베딩과 오토인코딩의 조합이 완전한 컨볼루션 네트워크의 인덕티브 바이어스를 이미지 복원에서 어떻게 재현하는가?
• RQ5 MMES와 같은 최소한의 모델이 전체 스케일의 훈련이나 깊은 아키텍처 없이도 DIP의 성능을 어느 정도 재현할 수 있는가?

주요 결과

• MMES는 인painting, 슈퍼레졸루션, 디컨볼루션, 노이즈 제거 등 다양한 작업에서 전체 Deep Image Prior(DIP)와 정량적·정성적으로 유사한 이미지 복원 성능을 달성한다.
• 제안된 방법은 다중 방향 지연-임베딩(Hankelization)을 통해 이미지 패치의 자기 유사성과 이동 불변성을 성공적으로 모델링하여 핵심적인 구조적 사전을 포착한다.
• MMES의 노이즈 제거 autoencoder 구성요소는 깨끗한 이미지 패치의 저차원 다양체를 암묵적으로 학습하며, DIP에서 관찰된 '노이즈 저항성' 현상의 원인을 설명한다.
• 실험 결과, MMES가 노이즈와 불완전한 데이터에 대해 강건함을 입증하여, 모델이 입력 패턴을 암기하는 것이 아니라 기저의 다양체에서 복원하는 데 학습된 것으로 나타났다.
• 이 프레임워크는 DIP를 저차원 패치 다양체 사전로 재해석하는 새로운 해석을 제공하며, 전체 DIP 아키텍처에 비해 더 단순하고 해석 가능한 대안을 제시한다.
• 이 방법은 동적 시스템(지연-임베딩 통한), 텐서 모델링, 딥러닝 간의 개념적·기술적 다리를 놓으며, 이미지 복원을 넘어서도 광범위한 응용 가능성을 시사한다.