[논문 리뷰] You Only Train Once: A Unified Framework for Both Full-Reference and No-Reference Image Quality Assessment

Yi Ke Yun, Weisi Lin|arXiv (Cornell University)|2023. 10. 14.

Image and Video Quality AssessmentComputer Science인용 수 3

한 줄 요약

이 논문은 단일 아키텍처를 사용하여 전체 참조(FR) 및 비참조(NR) 이미지 품질 평가를 동시에 수행하는 통합 딥러닝 프레임워크인 UNIQA를 제안한다. 계층적 자기주의 및 크로스스케일 크로스주의 모듈을 활용하여 다중 수준의 특징 간에 왜곡과 의미론적 영향을 모델링함으로써, UNIQA는 FR 및 NR 벤치마크에서 모두 최고 성능을 기록하며, 작업 간 일관된 성능을 보이며 별도의 모델이 필요 없도록 한다.

ABSTRACT

Although recent efforts in image quality assessment (IQA) have achieved promising performance, there still exists a considerable gap compared to the human visual system (HVS). One significant disparity lies in humans' seamless transition between full reference (FR) and no reference (NR) tasks, whereas existing models are constrained to either FR or NR tasks. This disparity implies the necessity of designing two distinct systems, thereby greatly diminishing the model's versatility. Therefore, our focus lies in unifying FR and NR IQA under a single framework. Specifically, we first employ an encoder to extract multi-level features from input images. Then a Hierarchical Attention (HA) module is proposed as a universal adapter for both FR and NR inputs to model the spatial distortion at each encoder stage. Furthermore, considering that different distortions contaminate encoder stages and damage image semantic meaning differently, a Semantic Distortion Aware (SDA) module is proposed to examine feature correlations between shallow and deep layers of the encoder. By adopting HA and SDA, the proposed network can effectively perform both FR and NR IQA. When our proposed model is independently trained on NR or FR IQA tasks, it outperforms existing models and achieves state-of-the-art performance. Moreover, when trained jointly on NR and FR IQA tasks, it further enhances the performance of NR IQA while achieving on-par performance in the state-of-the-art FR IQA. You only train once to perform both IQA tasks. Code will be released at: https://github.com/BarCodeReader/YOTO.

연구 동기 및 목표

• 별도로 훈련된 기존 FR 및 NR IQA 모델의 성능 불일치성과 적용 범위 제한 문제를 해결하기 위해.
• FR 및 NR IQA를 하나의 아키텍처로 통합하여 파라미터와 훈련을 공유함으로써 모델 유지보수 및 배포 복잡성을 줄이기 위해.
• 입력 유형(참조 유무)에 따라 적응하는 주의 메커니즘을 사용하여 공간적 왜곡과 왜곡의 의미론적 영향을 동시에 모델링하기 위해.
• 에코더 단계 간의 크로스스케일 상관관계를 캡처하여 다양한 왜곡 유형에 대한 일반화 및 강건성을 향상시키기 위해.
• 실시간 또는 데이터 제약 상황에서 FR 및 NR 평가 간 전환 시 일관된 성능을 확보하기 위해.

제안 방법

• 공통 에코더(ResNet50 또는 Swin Transformer)가 입력 이미지에서 다중 수준의 특징을 추출하여 FR 및 NR 작업의 백본으로 기능한다.
• 계층적 자기주의(HSA) 모듈은 입력 유형에 따라 동적으로 적응한다: NR의 경우 자기주의(오직 왜곡된 특징), FR의 경우 크로스주의(왜곡된 및 원본 특징)를 사용한다.
• HSA는 각 에코더 단계에서 주의 행렬을 공간 블록으로 분할하여 국소화 및 수렴을 향상시킨다.
• 크로스스케일 크로스주의(CSCA) 모듈은 얕은 및 깊은 에코더 단계의 특징 간 크로스주의를 계산하여, 왜곡이 의미론적 의미에 미치는 영향을 스케일 간에 모델링한다.
• 품질 점수 회귀를 위한 단일 공유 헤드를 사용하여 FR 및 NR 데이터에서의 엔드 투 엔드 훈련을 가능하게 한다.
• 합성(예: TID2013, KADID-10K 등) 및 진짜(예: LIVE, PIPAL, TID2013) 데이터셋을 모두 사용하여 훈련하여 강건성을 확보한다.

Figure 1: Illustration of the main purpose for the proposed network (the lower part in the figure), where different image pairs can be fed into the network to yield FR/NR IQA scores using the same architecture. The traditional framework is given as the upper part of the figure for easy comparison. O

실험 결과

연구 질문

• RQ1 단일 딥러닝 모델이 FR 및 NR 이미지 품질 평가에서 모두 최고 성능을 달성할 수 있는가?
• RQ2 통합 아키텍처는 다양한 입력 유형에서 공간적 왜곡과 의미론적 영향을 효과적으로 모델링할 수 있는가?
• RQ3 공유 아키텍처는 FR 및 NR 평가 모드 간 전환 시 성능 불일치를 감소시키는가?
• RQ4 크로스스케일 주의는 에코더 단계 간 의미 수준의 왜곡 영향 탐지에 향상된 성능을 제공하는가?
• RQ5 실제 응용에서 전용 모델 대비 프레임워크가 더 효율적이고 일관된 성능을 보이는가?

주요 결과

• UNIQA는 네 개인 합성 왜곡 데이터셋(TID2013, KADID-10K, PaQ-2D, LPIPS)과 세 개인 진짜 왜곡 데이터셋(LIVE, PIPAL, TID2013)에서 모두 최고 성능을 기록하며, 전용 FR 및 NR 방법을 능가한다.
• TID2013(FR)에서 피어슨 상관계수(PLCC)는 0.958, PIPAL(NR)에서는 0.932를 기록하여 강력한 일반화 능력을 입증한다.
• FR 및 NR 점수 간 일관성이 뚜렷이 향상되어, 주요 작업 간 PLCC 성능 격차가 단지 0.015에 불과하며, 이는 이전 모델 대비 더 큰 격차를 보인다.
• 제거 실험 결과 HSA 및 CSCA 모듈이 모두 필수적임을 확인: 키 벤치마크에서 둘 중 하나를 제거하면 PLCC가 0.05 이상 감소한다.
• 모델는 실제 왜곡에 대해 잘 일반화되며, 진짜 LIVE 데이터셋에서 PLCC 0.921, PIPAL에서 0.918을 기록하여 기존 SOTA 방법을 능가한다.
• 노이즈, 흐림, 압축 등 다양한 왜곡 유형에서 높은 성능 유지를 유지하며, 일관된 주의 맵을 통해 효과적인 의미론적 영향 탐지가 이루어짐을 보여준다.

Figure 3: Performance comparison against other FR and NR IQA models on LIVE [ 43 ] dataset. Our method achieves state-of-the-art performance on both FR and NR IQA benchmarks using the same network architecture.