[논문 리뷰] OneRestore: A Universal Restoration Framework for Composite Degradation

Yu Guo, Yuan Gao외 4명|arXiv (Cornell University)|2024. 07. 05.

Conservation Techniques and StudiesArts and Humanities인용 수 3

한 줄 요약

OneRestore는 장면 설명자(장면 기반)를 사용하여 저조도, 안개, 비, 눈과 같은 복합 병원을 적응적이고 제어 가능한 방식으로 복원하는 통합형, 트랜스포머 기반 이미지 복원 프레임워크를 제안한다. 교차 어텐션 메커니즘과 음성 샘플을 포함한 복합 병원 복원 손실을 통합함으로써, 합성 및 실세계 데이터셋 모두에서 최신 기술(SOTA) 성능을 달성하며, 복잡한 다중 요인 병원 상황에서 기존 방법들을 크게 능가한다.

ABSTRACT

In real-world scenarios, image impairments often manifest as composite degradations, presenting a complex interplay of elements such as low light, haze, rain, and snow. Despite this reality, existing restoration methods typically target isolated degradation types, thereby falling short in environments where multiple degrading factors coexist. To bridge this gap, our study proposes a versatile imaging model that consolidates four physical corruption paradigms to accurately represent complex, composite degradation scenarios. In this context, we propose OneRestore, a novel transformer-based framework designed for adaptive, controllable scene restoration. The proposed framework leverages a unique cross-attention mechanism, merging degraded scene descriptors with image features, allowing for nuanced restoration. Our model allows versatile input scene descriptors, ranging from manual text embeddings to automatic extractions based on visual attributes. Our methodology is further enhanced through a composite degradation restoration loss, using extra degraded images as negative samples to fortify model constraints. Comparative results on synthetic and real-world datasets demonstrate OneRestore as a superior solution, significantly advancing the state-of-the-art in addressing complex, composite degradations.

연구 동기 및 목표

• 기존 이미지 복원 방법이 고립된 병원에 집중하는 데에 대한 격차를 해결하기 위해, 다중 손상 인자가 동시에 존재하는 복합적 실세계 시나리오를 다루는 것.
• 모델 재학습이나 수동 재설정 없이도 다양한 병원 유형에 대해 적응적이고 제어 가능한 복원이 가능한 통합 프레임워크를 개발하는 것.
• 장면 설명자(텍스트 또는 시각 기반)와 새로운 복합 병원 복원 손실(음성 샘플 포함)을 통합하여 모델의 강건성과 사용자 제어력을 향상시키는 것.
• 기존의 물리적 병원 모델을 조합하여 저조도, 안개, 비, 눈 병원을 시뮬레이션하는 새로운 데이터셋 CDD-11를 통해 현실적인 복합 병원 시나리오를 구축함으로써, 통합 복원 모델의 효과적 훈련 및 평가를 가능하게 하는 것.

제안 방법

• 프레임워크는 병원된 장면 설명자와 이미지 특징을 융합하여 복원을 이끄는 새로운 교차 어텐션 블록을 갖춘 트랜스포머 기반 아키텍처를 사용한다.
• 장면 설명자는 수동 텍스트 임베딩 또는 자동 시각적 속성 추출을 통해 생성되며, 이는 입력의 민첩성과 제어 가능성 향상에 기여한다.
• 복합 병원 복원 손실이 도입되었으며, 추가로 병원된 이미지를 음성 샘플로 사용하여 모델 출력에 엄격한 하한 제약 조건을 강제한다.
• 모델은 저조도, 안개, 비, 눈의 물리적 병원 모델을 조합하여 실세계 병원을 시뮬레이션하는 새로운 벤치마크인 CDD-11 데이터셋에서 훈련된다.
• 특정 하위모델이 필요 없이 혼합 병원 유형에 동적으로 적응할 수 있는 One-to-Composite 복원 전략을 지원한다.
• 병원 유형에 특화된 설명자에 기반한 어텐션 메커니즘 조건화를 통해 복원에 대한 정밀한 제어를 가능하게 하여 사용자 의도와의 정렬을 향상시킨다.

Figure 1 : Our OneRestore allows fully controllable image restoration using scene descriptors derived from both automatic visual attribute extraction (top) and manual text embeddings (bottom).

실험 결과

연구 질문

• RQ1 저조도, 안개, 비, 눈과 같은 다중 동시 손상 인자를 포함한 복합 병원을 효과적으로 처리할 수 있는 단일 이미지 복원 모델은 어떻게 설계할 수 있는가?
• RQ2 수동 제공 또는 자동 추출된 장면 설명자가 다양한 병원 유형에 걸쳐 제어 가능하고 적응적인 복원을 가능하게 할 수 있는가?
• RQ3 음성 샘플을 포함한 복합 병원 복원 손실을 통합함으로써 모델의 일반화 능력과 출력 정밀도는 어떻게 향상되는가?
• RQ4 합성 복합 병원 데이터셋(CDD-11)에서 훈련된 모델는 실세계의 복잡한 병원 상황으로의 일반화 능력이 어느 정도인가?

주요 결과

• NIQE 및 PIQE 지표로 측정한 결과, OneRestore는 네 가지 실세계 벤치마크(NPE(저조도), RESIDE RTTS(안개 제거), Yang의 데이터셋(비 제거), Snow100k-R(눈 제거))에서 최신 기술 성능을 달성한다.
• 합성 및 실세계 데이터셋 모두에서 기존 최신 기술 방법들을 뛰어넘는 성능을 보이며, 복잡한 복합 병원 상황에 대한 강력한 일반화 능력을 입증한다.
• 장면 설명자의 사용은 복원에 대한 정밀한 제어를 가능하게 하며, 입력 설명에 따라 특정 병원 유형을 우선순위로 설정할 수 있도록 하여, 시각적 비교를 통해 검증되었다.
• 음성 샘플을 포함한 복합 병원 복원 손실은 모델을 효과적으로 제약하여 분포 이탈을 줄이고, 더 좁은 하한 제약 조건을 설정함으로써 복원 정밀도를 향상시킨다.
• 실세계 데이터셋에서의 시각적 결과는 OneRestore가 심각한 복합 병원 조건에서도 깨끗한 기준 이미지에 가까운 고품질, 세부 정보가 풍부한 출력을 생성함을 확인한다.
• 실패 사례는 고밀도 병원 및 빗방울, 모리레 패턴과 같이 모델에 반영되지 않은 병원 유형을 다루는 데서의 한계를 드러내며, 향후 개선 여지를 시사한다.

Figure 2 : Structural comparison between One-to-One, One-to-Many, and our One-to-Composite image restoration methods.