[논문 리뷰] InverseNet: Solving Inverse Problems with Splitting Networks

Kai Fan, Qi Wei외 3명|arXiv (Cornell University)|2017. 12. 01.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 6

한 줄 요약

InverseNet는 역문제 해결을 두 개의 공동 훈련된 신경망으로 분해하는 딥러닝 프레임워크를 제안한다: 하나는 물리적 전방 모델을 역으로 푸는 데이터 항목을 위한 것이고, 다른 하나는 결과를 노이즈 제거/정규화하는 사전 항목을 위한 것이다. 이 엔드 투 엔드 접근 방식은 운동 흐림 제거, 초해상도 복원, 색상화 등에서 최신 기술 수준의 성능을 달성하며, 특히 고리 무늬 간섭과 함께 초해상도 복원/색상화를 동시에 처리하는 어려운 케이스에서 기존 방법들을 능가한다.

ABSTRACT

We propose a new method that uses deep learning techniques to solve the inverse problems. The inverse problem is cast in the form of learning an end-to-end mapping from observed data to the ground-truth. Inspired by the splitting strategy widely used in regularized iterative algorithm to tackle inverse problems, the mapping is decomposed into two networks, with one handling the inversion of the physical forward model associated with the data term and one handling the denoising of the output from the former network, i.e., the inverted version, associated with the prior/regularization term. The two networks are trained jointly to learn the end-to-end mapping, getting rid of a two-step training. The training is annealing as the intermediate variable between these two networks bridges the gap between the input (the degraded version of output) and output and progressively approaches to the ground-truth. The proposed network, referred to as InverseNet, is flexible in the sense that most of the existing end-to-end network structure can be leveraged in the first network and most of the existing denoising network structure can be used in the second one. Extensive experiments on both synthetic data and real datasets on the tasks, motion deblurring, super-resolution, and colorization, demonstrate the efficiency and accuracy of the proposed method compared with other image processing algorithms.

연구 동기 및 목표

• 기존 엔드 투 엔드 딥러닝 방법의 한계를 해결하기 위해, 이는 종종 문제에 특화되어 있으며 재사용성이 떨어지기 때문이다.
• 역매핑을 두 개의 학습 가능한 요소로 분해함으로써 일반화 능력과 효율성을 향상시키기 위해, 전방 모델 역전환과 신호 노이즈 제거를 각각 별도로 처리한다.
• 두 번째 최적화 단계 없이 두 네트워크를 공동으로 훈련함으로써, 두 단계 최적화의 비효율성을 피한다.
• 고리 무늬 간섭이 있는 초해상도 복원이나 단일 대역 이미지에서의 초해상도 복원/색상화와 같은 어려운 역문제를 다룰 수 있도록 한다.

제안 방법

• 역문제를 두 개의 신경망으로 분해한다: 데이터 항목을 위한 역전환 네트워크와 사전/정규화 항목을 위한 노이즈 제거 네트워크.
• 역전환 네트워크는 물리적 전방 모델 A를 역으로 거꾸로 적용함으로써 열악한 측정값을 진정된 신호 공간으로 되돌리는 데 학습한다.
• 노이즈 제거 네트워크는 역전환 네트워크의 출력을 진정된 신호의 다양체로 투영함으로써 이를 정제한다.
• 쌍으로 구성된 훈련 데이터 (x_i, y_i)를 사용하여 두 네트워크를 공동으로 훈련하며, 입력과 출력을 연결하는 중간 변수를 도입하여 훈련 중에 점진적 안내(annealing)를 가능하게 한다.
• 이 프레임워크는 매우 민첩하며, 기존 아키텍처를 통합할 수 있다—표준 초해상도 또는 노이즈 제거 네트워크를 구성 요소로 사용할 수 있다.
• 훈련 과정은 중간 표현이 점차 진정된 값에 수렴하도록 하는 안내 전략을 사용하며, 이는 최적화의 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 역문제를 두 개의 구성 요소로 분해하는 딥러닝 프레임워크가 엔드 투 엔드 모델보다 더 높은 성능을 낼 수 있는가?
• RQ2 역전환 네트워크와 노이즈 제거 네트워크를 공동으로 훈련하는 것이 두 단계 훈련 또는 전통적인 최적화 방법보다 우월한가?
• RQ3 고리 무늬 간섭이 있는 초해상도 복원이나 함께 초해상도 복원 및 색상화를 수행하는 어려운 역문제에 대해 이 방법은 얼마나 잘 일반화되는가?
• RQ4 입력에 심한 열악함(예: 강한 앨리어싱 또는 색상 손실)이 있을 경우에도 모델이 자연스러운 이미지를 복원할 수 있는가?

주요 결과

• InverseNet는 초해상도 작업에서 고리 무늬 간섭을 크게 줄였으며, 이는 이중선형 보간법과 다른 딥러닝 기준보다 뛰어나다.
• ImageNet 데이터셋에서, 고리 무늬 간섭을 유발하는 도전적인 ×4 다운샘플링 연산자를 사용한 ×4 초해상도 복원에서 InverseNet은 뛰어난 성능을 보였다.
• 초해상도 복원 및 색상화를 동시에 수행하는 작업에서는 시각적으로 자연스러운 결과를 생성했으며, 흔하지 않거나 비현실적인 특징(예: 보라색 머리카락)을 더 흔하고 현실적인 것으로 수정했다.
• 모델은 다양한 데이터셋에 대해 잘 일반화되었으며, 얼굴을 다루는 CelebA와 야생 조류를 다루는 CUB 데이터셋 모두에서 낮은 잡음과 높은 지각적 품질을 갖는 고성능 결과를 생성했다.
• 제거 분석을 통해 두 네트워크의 공동 훈련이 별도 훈련 또는 표준 엔드 투 엔드 학습보다 더 뛰어난 성능을 낸다는 것이 확인되었다.