[논문 리뷰] Multi-Dimension Modulation for Image Restoration with Dynamic Controllable Residual Learning.

Jingwen He, Chao Dong외 1명|arXiv (Cornell University)|2019. 12. 11.

Advanced Image Processing Techniques참고 문헌 15인용 수 7

한 줄 요약

이 논문은 다양한 복원 효과를 다중 복원 유형과 수준에서 동적으로 연속적으로 제어할 수 있는 새로운 다차원(MD) 변조 프레임워크인 CResMD를 제안한다. 조건 네트워크와 베타분포 기반 샘플링 전략을 활용한 제어 가능한 잔차 연결을 도입하여, CResMD는 단일 및 다중 차원 변조 작업 모두에서 뛰어난 성능을 달성하며, 추론 시 사용자 중심의 미세 조절 가능한 복원 제어를 가능하게 한다.

ABSTRACT

Based on the great success of deterministic learning, to interactively control the output effects has attracted increasingly attention in the image restoration field. The goal is to generate continuous restored images by adjusting a controlling coefficient. Existing methods are restricted in realizing smooth transition between two objectives, while the real input images may contain different kinds of degradations. To make a step forward, we present a new problem called multi-dimension (MD) modulation, which aims at modulating output effects across multiple degradation types and levels. Compared with the previous single-dimension (SD) modulation, the MD task has three distinct properties, namely joint modulation, zero starting point and unbalanced learning. These obstacles motivate us to propose the first MD modulation framework -- CResMD with newly introduced controllable residual connections. Specifically, we add a controlling variable on the conventional residual connection to allow a weighted summation of input and residual. The exact values of these weights are generated by a condition network. We further propose a new data sampling strategy based on beta distribution to balance different degradation types and levels. With the corrupted image and the degradation information as inputs, the network could output the corresponding restored image. By tweaking the condition vector, users are free to control the output effects in MD space at test time. Extensive experiments demonstrate that the proposed CResMD could achieve excellent performance on both SD and MD modulation tasks.

연구 동기 및 목표

• 기존의 단일 차원(SD) 변조 방법이 다양한 복원 유형과 수준을 원활하게 처리할 수 없는 한계를 해결하기 위해.
• 다중 복원 유형과 강도를 동시에 제어할 수 있는 새로운 문제 설정인 다차원(MD) 변조를 제안하기 위해.
• 시험 시점에 다차원 공간에서 연속적이고 사용자 제어 가능한 복원 효과를 지원하는 통합 프레임워크를 개발하기 위해.
• MD 변조의 과제를 극복하기 위해, 복원 유형 간 학습의 불균형과 제어 공간의 영점이 필요함을 고려하기 위해.
• 효과적인 훈련을 위해 복원 유형과 수준의 분포를 균형 잡는 데이터 샘플링 전략을 설계하기 위해.

제안 방법

• 입력과 잔차 특징 간의 가중 합산을 가능하게 하기 위해 잔차 매핑에 제어 변수를 추가함으로써 제어 가능한 잔차 연결을 도입한다.
• 복원 유형과 수준에 따라 제어 가중치를 생성하기 위해 조건 네트워크를 사용하여 추론 중 동적 변조를 가능하게 한다.
• 훈련 중 복원 유형과 수준의 분포를 균형 잡기 위해 베타분포 기반 데이터 샘플링 전략을 제안한다.
• 손상된 이미지와 복원 정보를 입력으로 사용하여 네트워크를 훈련시키며, 출력은 해당 복원된 이미지가 된다.
• 조건 벡터를 수정하여 시험 시점의 제어를 가능하게 하여 복원 출력을 다중 차원으로 이동시킨다.
• 통합 변조, 영점 시작점, 불균형 학습 고려 사항을 네트워크 설계 및 훈련 프로토콜에 통합한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크가 다양한 복원 유형과 수준에서 이미지 복원 효과에 대해 부드럽고 연속적인 제어를 달성할 수 있는가?
• RQ2 통합 네트워크 아키텍처는 단일 차원 및 다중 차원 변조 작업을 효과적으로 지원할 수 있는가?
• RQ3 MD 변조에서 다양한 복원 유형과 강도 간의 훈련 분포를 가장 잘 균형 잡는 데이터 샘플링 전략은 무엇인가?
• RQ4 제어 가능한 잔차 연결은 추론 시 다차원 공간에서 정밀한 사용자 중심의 제어를 어떻게 가능하게 하는가?
• RQ5 MD 변조의 세 가지 고유한 성질인 통합 변조, 영점 시작점, 불균형 학습을 충족시키기 위해 필요한 주요 아키텍처 및 훈련 구성 요소는 무엇인가?

주요 결과

• CResMD는 이미지 복원 분야에서 단일 차원 및 다중 차원 변조 작업 모두에서 최신 기준(SOTA) 성능을 달성한다.
• 제안된 베타분포 기반 샘플링 전략은 다양한 복원 유형과 수준 간 훈련 데이터의 분포를 효과적으로 균형 잡는다.
• 제어 가능한 잔차 연결은 추론 시 조건 벡터를 조정하여 복원 효과에 대한 미세 조절 가능한 연속적 제어를 가능하게 한다.
• 프레임워크는 복원 유형 간 다중 차원 통합 변조를 성공적으로 지원하여 다양한 복원 결과 간 부드러운 전환을 가능하게 한다.
• 영점 시작점 성질이 유지되어 모든 제어 설정에서 일관된 기준 행동을 보장한다.
• 광범위한 실험을 통해 CResMD가 예측되지 않은 복원 조합으로도 잘 일반화되며, 높은 복원 품질을 유지함을 확인했다.