[논문 리뷰] Interactive Multi-Dimension Modulation with Dynamic Controllable Residual Learning for Image Restoration

Jingwen He, Chao Dong외 1명|arXiv (Cornell University)|2019. 12. 11.

Advanced Image Processing Techniques참고 문헌 25인용 수 15

한 줄 요약

이 논문은 이미지 복원을 위한 새로운 다차원(MD) 변조 프레임워크를 소개하며, 블러, 노이즈, 압축과 같은 여러 종류의 복원 문제를 동시에 상호작용적으로 제어할 수 있도록 한다. CResMD라는 딥 레이어 아키텍처를 제안하며, 잔차 연결에 학습 가능한 가중치 메커니즘을 적용하여, 복원 수준이 0일 때 신뢰성 있는 정규화 맵핑을 가능하게 하고, 베타분포 기반 샘플링을 통해 다양한 복원 수준 간 손실의 균형을 향상시킨다. 이는 단일 및 다차원 변조 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Interactive image restoration aims to generate restored images by adjusting a controlling coefficient which determines the restoration level. Previous works are restricted in modulating image with a single coefficient. However, real images always contain multiple types of degradation, which cannot be well determined by one coefficient. To make a step forward, this paper presents a new problem setup, called multi-dimension (MD) modulation, which aims at modulating output effects across multiple degradation types and levels. Compared with the previous single-dimension (SD) modulation, the MD is setup to handle multiple degradations adaptively and relief unbalanced learning problem in different degradations. We also propose a deep architecture - CResMD with newly introduced controllable residual connections for multi-dimension modulation. Specifically, we add a controlling variable on the conventional residual connection to allow a weighted summation of input and residual. The values of these weights are generated by another condition network. We further propose a new data sampling strategy based on beta distribution to balance different degradation types and levels. With corrupted image and degradation information as inputs, the network can output the corresponding restored image. By tweaking the condition vector, users can control the output effects in MD space at test time. Extensive experiments demonstrate that the proposed CResMD achieve excellent performance on both SD and MD modulation tasks. Code is available at https://github.com/hejingwenhejingwen/CResMD.

연구 동기 및 목표

• 단일 차원(SD) 변조가 오직 한 가지 복원 유형만 가정하는 한계를 해결하기 위해, 여러 종류의 복원 유형과 수준을 동시에 처리할 수 있는 새로운 다차원(MD) 변조 문제 설정을 제안한다.
• 특히 복원 수준이 0에 가까운 지점에서 손실의 균형이 깨지는 문제를 해결하기 위해, 다양한 복원 유형과 수준 간에 손실이 크게 편향되는 문제를 해결한다.
• 복원이 전혀 없을 경우 신뢰성 있는 정규화 맵핑(즉, 변화 없음)을 보장하기 위해, 학습 가능한 가중치를 적용한 잔차 연결을 재구성한다.
• 베타분포 기반의 새로운 데이터 샘플링 전략을 통해 다양한 복원 조합에 대한 일반화 능력과 성능을 향상시킨다. 이 전략은 경미한 복원 수준을 우선적으로 강조하여 손실 불균형 문제를 완화한다.
• 블러, 노이즈, JPEG 압축을 포함한 3차원 변조로의 확장 가능성을 입증함으로써, 프레임워크의 유연성과 확장성을 입증한다.

제안 방법

• 동적 제어 가능한 잔차 연결을 제안: 출력 = 입력 + 잔차 × α, 여기서 α는 조건 네트워크에 의해 생성되는 학습 가능한 가중치이며, 적응형 잔차 가중치를 가능하게 한다.
• 제어 벡터를 기반으로 가중치 요소 α를 생성하는 조건 네트워크를 도입하여, 추론 시에 복원 효과를 상호작용적으로 조절할 수 있도록 한다.
• 특히 경미한 복원 수준의 샘플링 밀도를 높여 손실 불균형 문제를 완화하기 위해, 복원 수준과 종류 간의 훈련 데이터 균형을 확보하기 위한 베타분포 기반 데이터 샘플링 전략을 설계한다.
• 경량 네트워크 아키텍처를 사용하며, 글로벌 및 로컬 잔차 연결을 통합하여, 복원 수준이 0일 때 α=0을 설정함으로써 정규화 맵핑을 가능하게 한다.
• 제어 벡터의 차원을 늘림으로써 네트워크 아키텍처와 훈련 방식을 그대로 유지한 채로 고차원(예: 3차원)으로 확장한다.
• 손상된 이미지와 복원 조건 벡터를 입력으로 사용하여 모델을 엔드 투 엔드로 훈련시키며, 제어 벡터를 통해 복원 결과를 추론 시에 상호작용적으로 조정할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크가 추론 시에 여러 종류의 이미지 복원 유형(예: 블러, 노이즈, 압축)에 대해 다차원적으로 상호작용적으로 제어할 수 있는가?
• RQ2 특히 표준 잔차 네트워크에서 정보 손실이 발생하는 상황에서도, 복원이 전혀 없을 경우에 정규화 맵핑(즉, 변화 없음)을 유지할 수 있는가?
• RQ3 다양한 복원 수준과 종류 간에 손실이 크게 편향되지 않도록 효과적인 훈련 전략은 무엇인가?
• RQ4 제안된 방법이 고차원 변조(예: 블러, 노이즈, JPEG 압축을 포함한 3차원)로 확장되면서도 높은 복원 정확도를 유지할 수 있는가?
• RQ5 단일 차원 기준선 대비, 표준 및 다차원 변조 환경 모두에서 모델의 성능은 어떻게 비교되는가?

주요 결과

• 최적의 샘플링 전략(α=0.5, β=1.0) 하에서 LIVE1 데이터셋에서 균일 샘플링 대비 PSNR가 +0.28 dB 향상되었으며, 대부분의 복원 수준에서 안정적인 성능 향상을 보였다.
• 균일 샘플링 대비 경미한 복원 수준에서 PSNR 저하를 최대 0.19 dB 감소시켜 효과적인 손실 균형을 입증했다.
• 블러, 노이즈, JPEG 압축을 포함한 3차원 변조에서, 원하는 변조 결과와 실제 변조 결과 간 평균 PSNR 거리는 0.3 dB 이하로 유지되어 높은 변조 정확도를 보였다.
• α=0으로 설정함으로써 복원 수준이 0일 때 정규화 맵핑을 유지함으로써, 복원이 전혀 없는 경우에도 천연스러운 출력을 가능하게 했다.
• 고차원으로의 일반화 능력이 뛰어나, 아키텍처 변경을 최소로 유지한 채 3차원 변조를 성공적으로 구현하였으며, 복잡도 증가에 대한 강건성을 입증했다.
• 단일 차원 기준선 대비 CResMD는 SD 및 MD 작업 모두에서 뛰어난 성능을 달성하여, 그 효과성과 유연성을 확인했다.