[논문 리뷰] Restoring Images with Unknown Degradation Factors by Recurrent Use of a Multi-branch Network

Xing Liu, Masanori Suganuma외 2명|arXiv (Cornell University)|2019. 07. 10.

Advanced Image Processing Techniques참고 문헌 72인용 수 4

한 줄 요약

이 논문은 동일한 공유 백본을 반복적으로 적용하는 다양한 복원 브랜치를 반복적으로 적용함으로써 알려지지 않은 복원 인자로 이미지를 복원하는 순환 다중지점 네트워크를 제안한다. 이 방법은 단일 복원 유형에 대해 전용 네트워크와 비교해 성능이 유사하거나 뛰어나며, 혼합 복원 작업에서 이전 최고 성능을 뛰어넘어, 두 단계 훈련 절차를 통해 다중 작업 학습과 보정을 조합함으로써 강력한 일반화 능력을 입증한다.

ABSTRACT

The employment of convolutional neural networks has achieved unprecedented performance in the task of image restoration for a variety of degradation factors. However, high-performance networks have been specifically designed for a single degradation factor. In this paper, we tackle a harder problem, restoring a clean image from its degraded version with an unknown degradation factor, subject to the condition that it is one of the known factors. Toward this end, we design a network having multiple pairs of input and output branches and use it in a recurrent fashion such that a different branch pair is used at each of the recurrent paths. We reinforce the shared part of the network with improved components so that it can handle different degradation factors. We also propose a two-step training method for the network, which consists of multi-task learning and finetuning. The experimental results show that the proposed network yields at least comparable or sometimes even better performance on four degradation factors as compared with the best dedicated network for each of the four. We also test it on a further harder task where the input image contains multiple degradation factors that are mixed with unknown mixture ratios, showing that it achieves better performance than the previous state-of-the-art method designed for the task.

연구 동기 및 목표

• 복원 인자가 알려져 있지 않지만 사전 정의된 집합 중 하나임을 가정할 때 이미지 복원 문제를 해결하기 위해.
• 복원 유형을 사전에 알고 있어야 하는 전용 네트워크의 한계를 극복하기 위해.
• 다양한 복원 유형 간에 성능 손실 없이 일반화할 수 있는 단일 아키텍처를 설계하기 위해.
• 더 현실적이고 도전적인 상황인 혼합된, 알려지지 않은 복원 비율을 가진 이미지의 효과적인 복원을 가능하게 하기 위해.
• 다양한 복원 유형에서 성능를 유지하면서도 파rameter 오버헤드를 최소화하는 훈련 전략을 개발하기 위해.

제안 방법

• 네트워크는 각각 특정 복원 유형 전용인 다수의 입력-출력 브랜치 쌍을 사용하며, 이를 공유 백본을 통해 연결한다.
• 순환 메커니즘은 한 브랜치 쌍의 출력을 다음 반복에서 다른 입력 브랜치에 다시 피드백함으로써 동일한 네트워크를 반복적으로 활용한다.
• 다양한 복원 유형에 걸쳐 표현 능력을 향상시키기 위해 공유 백본에 새로운 잔차 블록 설계인 DuRB-M을 통합한다.
• 두 단계 훈련 절차를 사용한다: 먼저 모든 복원 유형에 대한 다중 작업 학습을 수행한 후, 혼합 복원 데이터에서의 보정을 통해 강건성을 향상시킨다.
• 입력에 대한 잔차 이미지를 예측함으로써 각 복원 유형에 대해 일관된 잔차 학습 공식을 유지하는 엔드 투 엔드 학습을 가능하게 한다.
• 복원 유형에 특화된 손실를 최소화하면서도 청소년 이미지를 유지하고, 비대상 요소의 복원을 방지한다.

실험 결과

연구 질문

• RQ1 알려지지 않은 복원 유형이지만 사전에 정의된 집합 내에 있는 경우, 단일 딥 네트워크가 효과적으로 이미지를 복원할 수 있는가?
• RQ2 성능 저하 없이 여러 개의 서로 다른 복원 유형에 일반화할 수 있도록 공유 네트워크 백본을 어떻게 설계할 수 있는가?
• RQ3 단일 통과 또는 계단식 접근 방식과 비교해 복수의 브랜치를 순환적으로 적용하는 것이 복원 성능 향상에 기여하는가?
• RQ4 다중 작업 학습 후 보정을 수행하는 두 단계 훈련 전략이 혼합 복원 시나리오에서의 일반화 능력을 향상시키는가?
• RQ5 이러한 방법은 단일 및 병합 복원 작업 모두에서 전용 네트워크 및 이전 최고 성능 방법과 비교해 어떻게 성능를 보이는가?

주요 결과

• 제안된 R-MBN 모델은 네 가지 복원 유형(흐림, 노이즈, JPEG, nebl) 각각에 대해 전용 네트워크와 유사하거나 뛰어난 성능를 달성한다.
• 혼합 복원 데이터에서 보정된 R-MBN* 버전은 Suganuma 등이 제안한 이전 최고 성능 방법보다 병합 복원 작업에서 큰 격차로 뛰어난 성능를 보인다.
• 혼합 데이터에서의 보정 없이도 R-MBN는 혼합 복원에 대해 강력한 성능를 유지하며, 단일 요인에서의 성능에 비해 중간 정도의 성능 저하만을 보인다.
• 복원 인자의 알려지지 않은 혼합 비율에 대해 강건성을 보이며, 강력한 일반화 능력을 나타낸다.
• 두 단계 훈련 전략은 다중 작업 학습과 보정을 효과적으로 균형 잡으며, 다양한 복원 패턴을 처리하면서도 이미지 품질을 유지할 수 있도록 한다.