[논문 리뷰] TOPIQ: A Top-down Approach from Semantics to Distortions for Image Quality Assessment

Chaofeng Chen, Jiadi Mo외 6명|arXiv (Cornell University)|2023. 08. 06.

Visual Attention and Saliency Detection인용 수 4

한 줄 요약

이 논문은 상위 수준의 의미 정보를 통해 저수준 특징에서의 왜곡 인식을 이끄는 상향식 이미지 품질 평가 프레임워크인 TOPIQ를 제안한다. 이는 조악한 것에서 세밀한 주의망(CFANet)을 통해 실현된다. 교차 스케일 주의 메커니즘과 게이트형 국소 풀링을 도입함으로써, TOPIQ는 기존 최고 성능 방법의 13%에 불과한 FLOPS로도 전반적인 참조 기반 및 비참조 기반 IQA 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Image Quality Assessment (IQA) is a fundamental task in computer vision that has witnessed remarkable progress with deep neural networks. Inspired by the characteristics of the human visual system, existing methods typically use a combination of global and local representations (\ie, multi-scale features) to achieve superior performance. However, most of them adopt simple linear fusion of multi-scale features, and neglect their possibly complex relationship and interaction. In contrast, humans typically first form a global impression to locate important regions and then focus on local details in those regions. We therefore propose a top-down approach that uses high-level semantics to guide the IQA network to focus on semantically important local distortion regions, named as \emph{TOPIQ}. Our approach to IQA involves the design of a heuristic coarse-to-fine network (CFANet) that leverages multi-scale features and progressively propagates multi-level semantic information to low-level representations in a top-down manner. A key component of our approach is the proposed cross-scale attention mechanism, which calculates attention maps for lower level features guided by higher level features. This mechanism emphasizes active semantic regions for low-level distortions, thereby improving performance. CFANet can be used for both Full-Reference (FR) and No-Reference (NR) IQA. We use ResNet50 as its backbone and demonstrate that CFANet achieves better or competitive performance on most public FR and NR benchmarks compared with state-of-the-art methods based on vision transformers, while being much more efficient (with only ${\sim}13\%$ FLOPS of the current best FR method). Codes are released at \url{https://github.com/chaofengc/IQA-PyTorch}.

연구 동기 및 목표

• 기존의 IQA 방법들이 의미 지침 없이 하향식 또는 병렬 다중 스케일 특징 융합에 의존하는 한계를 해결하기 위해.
• 인간 시각 시스템의 전반적에서 국소로의 처리 방식을 모방함으로써 인간 시각 인식을 더 정확히 모델링하기 위해.
• 고수준 의미 정보를 활용하여 의미적으로 중요한 왜곡 영역에 집중함으로써 IQA 성능을 향상시키기 위해.
• 비싼 계산 비용을 크게 줄임과 동시에 강력한 성능을 내는 효율적인 아키텍처를 설계하기 위해.
• 참조 기반 및 비참조 기반 이미지 품질 평가에서 상향식 특징 전파와 교차 스케일 주의의 효과를 검증하기 위해.

제안 방법

• 고수준에서 저수준 특징으로 의미 정보를 상향식으로 전파하는 상향식 주의망(CFANet)을 제안한다.
• 고수준 의미 특징을 기반으로 하위 수준 특징에 대한 주의 맵을 생성하는 교차 스케일 주의(CSA) 메커니즘을 도입하여 관련 왜곡 영역을 강조한다.
• 공간 해상도를 유지하면서 계산 비용을 줄이고 효율적으로 국소 왜곡 특징을 추출하기 위해 게이트형 국소 풀링(GLP) 블록을 설계한다.
• 백본 네트워크로 ResNet50을 사용하고, CFANet을 참조 기반 및 비참조 기반 IQA 설정에 모두 통합한다.
• 복잡한 특징 선택을 피하고 조악한 수준에서 세밀한 수준으로 점진적인 의미 지침에 집중하기 위해 히우리스틱 설계를 활용한다.
• 간단한 연결 또는 가중치 합산이 아닌 학습된 주의를 통해 다중 스케일 특징을 융합함으로써, 인지적으로 관련 있는 영역에 동적으로 집중할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 고수준 의미 이해는 IQA에서 저수준 이미지 왜곡 인식에 향상 효과를 줄 수 있는가?
• RQ2 기존의 하향식 또는 병렬 다중 스케일 특징 융합에 비해 상향식 특징 전파 전략이 IQA에서 더 우수한 성능을 내는가?
• RQ3 교차 스케일 주의는 의미적으로 중요한 왜곡 영역에 집중하도록 네트워크를 이끄는 데 얼마나 효과적인가?
• RQ4 경량 상향식 아키텍처는 비전 트랜스포머 기반 방법에 비해 상당히 감소된 FLOPS로 SOTA 성능을 달성할 수 있는가?
• RQ5 제안된 방법은 다양한 FR 및 NR IQA 벤치마크에서 일반화 성능이 우수한가?

주요 결과

• ResNet50 백본을 사용한 CFANet는 TID2013, LIVE, CSIQ, KonIQ-10k, FLIVE, AVA를 포함한 주요 전반적인 FR 및 NR IQA 벤치마크에서 최고 성능을 달성한다.
• TID2013 데이터셋에서 피어슨 상관계수(PLCC)는 0.963을 기록했고, KonIQ-10k 데이터셋에선 0.969를 기록하여 이전의 SOTA 방법을 능가한다.
• 현재 최고의 參조 기반 방법의 약 13%에 불과한 FLOPS를 사용하고도, 모든 벤치마크에서 뛰어난 또는 경쟁 가능한 성능을 유지한다.
• 단절 실험 결과, 제안된 교차 스케일 주의(CSA) 메커니즘이 컨볼루션 융합과 직접적인 상위 레이어 지침보다 우수함을 입증하여, 특징 재가중에 있어 그 효과를 입증한다.
• 게이트형 국소 풀링(GLP) 모듈은 단순한 리사이징 또는 전역 풀링보다 성능 향상을 보이며, 선택적 국소 왜곡 캡처에 있어 그 역할을 입증한다.
• Swim Transformer와 같은 더 강력한 백본은 비참조 벤치마크에서 더 큰 성과 향상을 보이며, 이는 參조 이미지가 없는 환경에서 전반적 표현 학습이 더 중요함을 시사한다.