[논문 리뷰] MetaISP -- Exploiting Global Scene Structure for Accurate Multi-Device Color Rendition

Matheus Albino Souza, Wolfgang Heidrich|arXiv (Cornell University)|2023. 01. 01.

Image Enhancement Techniques인용 수 1

한 줄 요약

MetaISP는 디바이스별 임bedding, 크로스공분산 어텐션을 통한 전반적인 장면 의미론, 메타데이터 조건화를 활용하여 한 대의 스마트폰에서 다른 스마트폰의 색상 및 대비 특성을 모방하는 RGB 출력을 생성하는 경량 딥러닝 모델이다. 이는 미리 훈련되지 않은 디바이스에 대해 제로샷 추론을 가능하게 하며, PSNR, SSIM, ∆E∗ab76에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Image signal processors (ISPs) are historically grown legacy software systems for reconstructing color images from noisy raw sensor measurements. Each smartphone manufacturer has developed its ISPs with its own characteristic heuristics for improving the color rendition, for example, skin tones and other visually essential colors. The recent interest in replacing the historically grown ISP systems with deep-learned pipelines to match DSLR's image quality improves structural features in the image. However, these works ignore the superior color processing based on semantic scene analysis that distinguishes mobile phone ISPs from DSLRs. Here, we present MetaISP, a single model designed to learn how to translate between the color and local contrast characteristics of different devices. MetaISP takes the RAW image from device A as input and translates it to RGB images that inherit the appearance characteristics of devices A, B, and C. We achieve this result by employing a lightweight deep learning technique that conditions its output appearance based on the device of interest. In this approach, we leverage novel attention mechanisms inspired by cross-covariance to learn global scene semantics. Additionally, we use the metadata that typically accompanies RAW images and estimate scene illuminants when they are unavailable.

연구 동기 및 목표

• 딥러닝 기반 ISP에서 다수의 디바이스에 대한 정확한 색상 렌더링의 부족을 해결하기 위해 디바이스별 시각적 스타일을 모델링하고자 한다.
• 기존 방법들이 전역적 장면 의미론과 모바일 ISP에서의 의미론 기반 색상 처리를 忽시하는 한계를 극복하고자 한다.
• 재훈련 없이도 여러 스마트폰 간에 외관 일관성을 유지하는 출력을 생성할 수 있는 단일 모델을 개발하고자 한다.
• 메타데이터와 학습된 디바이스 임베딩만을 사용하여 새로운 디바이스에 대해 제로샷 색상 변환을 가능하게 하고자 한다.
• 화이트 밸런스 추정 및 노출/ISO 조건화를 통합하여 색상 정확도와 주관적 품질을 향상시키고자 한다.

제안 방법

• MetaISP는 RAW 입력과 디바이스 임베딩을 조건으로 삼아 디바이스별 색상 출력을 생성하는 조건부 딥러닝 아키텍처를 사용한다.
• 이중 이미지 패치 간의 전역적 장면 의미론을 모델링하기 위해 새로운 크로스공분산 어텐션 메커니즘을 도입하여 맥락 인식 능력을 향상시킨다.
• 사전 훈련된 통계를 활용해 다양한 장면에서 특징을 정규화하는 전역 의미론 브랜치를 도입하여 모델의 강건성을 향상시킨다.
• 디바이스 임베딩에서 파생된 쿼리 벡터를 통해 디바이스별 외관을 조건화하며, 이는 네트워크 내 어텐션 맵을 조절한다.
• 화이트 밸런스, ISO, 노출 등의 메타데이터를 활용해 색상 및 대비 조정을 안내하며, 누락된 조명 조건을 추정하기 위한 경량 서브넷을 활용한다.
• 세 대의 스마트폰에서의 쌍체 RAW-sRGB 데이터를 기반으로 엔드 투 엔드로 훈련되어, 디바이스 스타일 간의 보간이 가능해진다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 모델이 여러 스마트폰 ISP의 고유한 색상 및 대비 특성을 정확하게 재현할 수 있는가?
• RQ2 지역적 패치 수준 처리를 넘어서 전역적 장면 의미론을 효과적으로 모델링하면 색상 렌더링 품질이 어떻게 향상되는가?
• RQ3 재훈련 없이도 임베딩을 활용해 디바이스별 시각적 스타일을 얼마나 잘 분리하고 조건화할 수 있는가?
• RQ4 메타데이터와 학습된 디바이스 표현만을 사용하여 미리 훈련되지 않은 디바이스에 대해 일반화가 가능한가?
• RQ5 메타데이터에서 화이트 밸런스와 노출 정보가 누락된 경우, 이러한 정보를 통합함으로써 색상 정확도가 얼마나 향상되는가?

주요 결과

• MetaISP는 iPhone XR에서 PSNR 30.14 dB, Pixel 6 Pro에서 25.49 dB, Samsung S22에서 24.26 dB를 기록하며 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성했다.
• iPhone XR에서는 색상 차이(ΔE∗ab76)를 3.76으로 줄였고, Pixel 6 Pro는 6.65, S22는 7.33로 주관적 정확도가 매우 높음을 시사한다.
• 제거 실험 결과, 전역 의미론 브랜치(C)는 iPhone XR에서 PSNR를 1.94 dB 향상시키며, ΔE∗ab76를 기준선 대비 2.97 포인트 감소시켰다.
• 어텐션 메커니즘(D)은 iPhone XR에서 PSNR를 2.21 dB 향상시키며, ΔE∗ab76를 0.86 포인트 감소시켜 중요한 기여를 했다.
• 훈련 없이도 Xiaomi C40에 대해 제로샷 추론을 수행한 결과, 원래 ISP보다 더 선명한 색상과 더 나은 대비를 보였다.
• 화이트 밸런스 메타데이터가 누락된 경우에도, 경량 서브넷을 통해 효과적으로 이를 추정하며 모델의 강건성을 유지했다.