[논문 리뷰] Local Distortion Aware Efficient Transformer Adaptation for Image Quality Assessment

Kangmin Xu, Liang Liao외 5명|arXiv (Cornell University)|2023. 08. 23.

Industrial Vision Systems and Defect DetectionEngineering인용 수 3

한 줄 요약

이 논문은 사전 훈련된 CNN에서 유도된 국소적 왜곡 특징을 주입함으로써 대규모 사전 훈련된 비전 트랜스포머(ViT)를 이미지 품질 평가(IQA)에 효율적으로 적응시키는 새로운 방법 LoDa를 제안한다. 국소적 왜곡 추출기와 주입기를 사용하여 크로스 어텐션을 통해 다중 척도 CNN 특징을 ViT 토큰에 융합함으로써, LoDa는 최소한의 미세조정으로 일곱 개의 IQA 데이터셋에서 최신 기술 성능(SOTA)을 달성한다. 이는 IQA가 강력한 전역 표현과 국소적 인도적 편향 모두에서 유익함을 보여준다.

ABSTRACT

Image Quality Assessment (IQA) constitutes a fundamental task within the field of computer vision, yet it remains an unresolved challenge, owing to the intricate distortion conditions, diverse image contents, and limited availability of data. Recently, the community has witnessed the emergence of numerous large-scale pretrained foundation models, which greatly benefit from dramatically increased data and parameter capacities. However, it remains an open problem whether the scaling law in high-level tasks is also applicable to IQA task which is closely related to low-level clues. In this paper, we demonstrate that with proper injection of local distortion features, a larger pretrained and fixed foundation model performs better in IQA tasks. Specifically, for the lack of local distortion structure and inductive bias of vision transformer (ViT), alongside the large-scale pretrained ViT, we use another pretrained convolution neural network (CNN), which is well known for capturing the local structure, to extract multi-scale image features. Further, we propose a local distortion extractor to obtain local distortion features from the pretrained CNN and a local distortion injector to inject the local distortion features into ViT. By only training the extractor and injector, our method can benefit from the rich knowledge in the powerful foundation models and achieve state-of-the-art performance on popular IQA datasets, indicating that IQA is not only a low-level problem but also benefits from stronger high-level features drawn from large-scale pretrained models.

연구 동기 및 목표

• 이미지 품질 평가(IQA)에서 레이블이 부족한 데이터와 복잡한 왜곡 패턴으로 인해 대규모 모델의 효과적 훈련이 저해되는 문제를 해결하기 위해.
• 고수준 비전 작업에서의 스케일링 법칙이 저수준 이미지 왜곡에 민감한 IQA 작업에 적용되는지 조사하기 위해.
• 외부에서 유도된 CNN 기반 특징을 통해 ViT의 국소적 구조 인도적 편향의 부족을 보완함으로써 ViT의 IQA 성능을 향상시키기 위해.
• 완전한 미세조정 없이 대규모 사전 훈련된 모델을 IQA에 효율적으로 적응시키기 위해, 모델 지식을 유지하면서 국소 감도를 향상시키기 위해.
• 전역 ViT 특징와 다중 척도 국소 왜곡 특징을 융합함으로써 예측 정확도와 일반화 능력이 향상됨을 입증하기 위해.

제안 방법

• 입력 이미지에서 전역 특징과 다중 척도 국소 특징을 각각 사전 훈련된 비전 트랜스포머(ViT)와 별도의 사전 훈련된 CNN이 추출한다.
• 국소적 왜곡 추출기가 CNN의 다중 척도 특징 맵을 컨볼루션과 평균 풀링을 사용하여 왜곡 관련 신호를 분리한다.
• 국소적 왜곡 주입기가 크로스 어텐션을 사용하여 다층에서 ViT 토큰에 추출된 국소 특징을 주입함으로써 공간 정렬을 유지한다.
• 계산 비용을 줄이기 위해 주입된 특징을 낮은 차원의 잠재 공간(r=64)으로 투영한다. 이는 자연어 처리(NLP) 어댑터 기법을 영감으로 삼았다.
• 오직 왜곡 추출기와 주입기만 미세조정되며, ViT와 CNN은 고정된 채로 유지되어 효율적 적응이 가능하다.
• 융합은 다수의 ViT 인코더 블록에 적용되며, 아블레이션 연구를 통해 모든 레이어에 융합할 경우 최적의 성능을 얻는다.

실험 결과

연구 질문

• RQ1 대규모 사전 훈련된 ViT가 완전한 미세조정 없이 기초 모델의 지식을 활용하여 IQA에 효과적으로 적응시킬 수 있는가?
• RQ2 ViT가 국소적 구조를 포착하는 데 약한 점이 있음에도 불구하고, CNN에서 유도된 국소적 왜곡 특징을 주입함으로써 ViT의 IQA 성능 향상이 가능한가?
• RQ3 특징 주입이 이루어지는 융합 상호작용 수(즉, 특징이 주입되는 레이어 수)가 모델 성능과 효율성에 어떤 영향을 미치는가?
• RQ4 크로스 어텐션 모듈에서 최적의 잠재 차원과 어텐션 헤드 수는 무엇인가?
• RQ5 주입된 국소적 특징이 푸리에 분석에 의해 확인되듯이 고주파 이미지 세부 정보를 더 잘 포착하는가?

주요 결과

• LoDa는 일곱 개의 표준 IQA 데이터셋에서 최신 기술 성능(SOTA)을 달성하였으며, KonIQ-10k에서 SRCC 0.932, PLCC 0.944를 기록했고, KADID-10k에서 SRCC 0.931, PLCC 0.936를 기록하였다.
• 잠재 차원이 64일 경우 성능이 가장 우수하며, 이 범위 내에서 하이퍼파rameter 변화에 대해 매우 민감하지 않다.
• 크로스 어텐션 모듈에서 어휘 헤드 수를 4개로 설정할 경우 두 개나 여덟 개보다 略적으로 더 우수한 성능을 보였다.
• 12개의 인코더 레이어 전부에 특징을 융합할 경우 최고의 성능을 기록했지만, 반수(6개)의 상호작용이라도 강력한 성능을 기록하여 융합 깊이 감소에 대해 뛰어난 내구성을 보였다.
• 푸리에 분석 결과 LoDa가 표준 ViT보다 더 많은 고주파 신호를 포착하는 것으로 확인되어 국소적 왜곡에 대한 감도 향상이 입증되었다.
• 단순히 경량 추출기와 주입기만 훈련되며, 대규모 ViT와 CNN은 동결된 상태로 유지되어 높은 일반화 능력과 훈련 효율성을 유지하였다.