[논문 리뷰] A Dive into SAM Prior in Image Restoration

Zeyu Xiao, Jiawang Bai외 2명|arXiv (Cornell University)|2023. 05. 23.

Advanced Image Processing Techniques인용 수 6

한 줄 요약

이 논문은 기존 네트워크에 경량의 SAM 프리튜닝(SAM Prior Tuning, SPT) 유닛을 통합함으로써, 주어진 모델의 미세조정 없이도 이미지 복원 성능을 향상시키는 파rameter 효율적인 방법을 제안한다. Segment Anything Model(SAM)에서 유도한 의미론적 사전 지식을 활용하여, 이미지 초해상도 및 노이즈 제거 품질을 향상시키며, 최소한의 추가 파라미터로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The goal of image restoration (IR), a fundamental issue in computer vision, is to restore a high-quality (HQ) image from its degraded low-quality (LQ) observation. Multiple HQ solutions may correspond to an LQ input in this poorly posed problem, creating an ambiguous solution space. This motivates the investigation and incorporation of prior knowledge in order to effectively constrain the solution space and enhance the quality of the restored images. In spite of the pervasive use of hand-crafted and learned priors in IR, limited attention has been paid to the incorporation of knowledge from large-scale foundation models. In this paper, we for the first time leverage the prior knowledge of the state-of-the-art segment anything model (SAM) to boost the performance of existing IR networks in an parameter-efficient tuning manner. In particular, the choice of SAM is based on its robustness to image degradations, such that HQ semantic masks can be extracted from it. In order to leverage semantic priors and enhance restoration quality, we propose a lightweight SAM prior tuning (SPT) unit. This plug-and-play component allows us to effectively integrate semantic priors into existing IR networks, resulting in significant improvements in restoration quality. As the only trainable module in our method, the SPT unit has the potential to improve both efficiency and scalability. We demonstrate the effectiveness of the proposed method in enhancing a variety of methods across multiple tasks, such as image super-resolution and color image denoising.

연구 동기 및 목표

• 해당 문제의 해가 유일하지 않은 성격을 고려하여, 해의 공간을 제약하는 고수준의 의미론적 사전 지식을 통합함으로써 이미지 복원 문제의 불안정성을 완화하고자 한다.
• 대규모 기초 모델, 특히 SAM이 이미지 복원에 적합한 강력하고 이식 가능한 사전 지식의 원천이 될 수 있는지 탐색하고자 한다.
• 기존 이미지 복원 네트워크의 백본을 재학습하지 않고도 의미론적 사전 지식을 통합할 수 있는 플러그 앤 플레이, 파라미터 효율적인 튜닝 기법을 개발하고자 한다.
• 기존 이미지 복원 네트워크의 저수준 특징과 SAM에서 유도한 의미론적 마스크를 융합하여 초해상도 및 노이즈 제거 등의 작업에서 복원 품질을 향상시키고자 한다.

제안 방법

• 기존에 학습된, 동결된 Segment Anything Model(SAM)을 사용하여 저품질(LQ) 이미지에서 의미론적 마스크를 추출함으로써, 오염에 강건한 특성을 활용한다.
• 기존 이미지 복원 네트워크의 중간 특징에 의미론적 사전 지식를 주입하기 위한 경량이며 학습 가능한 SAM Prior Tuning(SPT) 유닛을 설계한다.
• 가중치 파라미터 α를 가진 학습 가능한 게이팅 메커니즘을 도입하여 의미론적 사전 지식와 특징맵 간의 융합을 제어함으로써 적응형 통합을 가능하게 한다.
• 주된 이미지 복원 네트워크를 동결한 채 SPT 유닛의 파라미터만 갱신하는 파라미터 효율적인 튜닝 기법을 적용하여 효율성과 확장성을 확보한다.
• 다양한 밀도(8×8, 16×16, 24×24)의 정규 격자로 SAM을 프롬프트하여 굵은, 중간, 미세한 해상도의 마스크를 생성하고, 이를 바탕으로 입력 채널 차원을 조정한다.
• 소량의 학습 반복(~8,000회)으로 SPT 유닛을 최적화함으로써, 훨씬 적은 파라미터와 단계로 전체 미세조정 성능에 근접한 성능을 달성한다.

실험 결과

연구 질문

• RQ1 SAM과 같은 기초 모델에서 추출한 의미론적 사전 지식가 이미지 복원 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 기존 이미지 복원 네트워크의 저수준 특징과 SAM에서 유도한 의미론적 사전 지식를 효율적이고 효과적으로 융합할 수 있는가?
• RQ3 SAM을 사전 지식으로 사용할 경우, 마스크의 해상도(粗기 → 미세)가 복원 품질에 어떤 영향을 미치는가?
• RQ4 제안된 파라미터 효율적인 튜닝 기법은 전체 미세조정 대비 성능 및 학습 효율 측면에서 어떻게 비교되는가?
• RQ5 SAM 마스크를 사전 지식으로 사용할 때 발생할 수 있는 실패 모드는 무엇이며, 이는 이미지의 정확성에 어떤 영향을 미치는가?

주요 결과

• 제안된 SPT 유닛은 이미지 초해상도 작업에서 Set5 데이터셋에서 PSNR 32.5648을 기록하여 기준 모델인 ART 네트워크 대비 +0.2568 향상된 성능을 달성한다.
• 미세한 해상도의 SAM 마스크(24×24 격자)를 사용할 경우 최고의 성능(PSNR = 32.5737)을 기록하여, 더 높은 해상도의 의미론적 사전 지식이 복원 품질 향상에 기여함을 확인한다.
• 최적의 하이퍼파ram터 α = 1.0에서 최고의 성능을 기록하며, α가 너무 작거나 너무 클 경우 성능 저하가 발생함을 통해 균형 잡힌 융합이 필요함을 시사한다.
• 제안된 튜닝 기법은 전체 미세조정과 유사한 성능을 달성하지만, 약 ~8,000회 반복 학습과 훨씬 적은 학습 가능한 파라미터로 수행된다.
• 일부 경우에 그리드 형태의 구조(예: 선박의 날개에서 발생하는 격자 무늬)와 같은 아티팩트가 발생함을 확인하여, 시각적 타당성과 진짜 값에 대한 충실도 사이의 상충 관계가 존재함을 시사한다.
• SPT 유닛은 이미지 초해상도 및 컬러 이미지 노이즈 제거를 포함한 여러 이미지 복원 작업에서 효과적이며, 넓은 적용 가능성을 입증한다.