[论文解读] Local Distortion Aware Efficient Transformer Adaptation for Image Quality Assessment

Kangmin Xu, Liang Liao+5 more|arXiv (Cornell University)|Aug 23, 2023

Industrial Vision Systems and Defect DetectionEngineering被引用 3

一句话总结

该论文提出LoDa，一种新颖方法，通过从预训练CNN中注入局部失真特征，高效地将大规模预训练视觉Transformer（ViT）适配于图像质量评估（IQA）。通过使用局部失真提取器和注入器，利用交叉注意力将多尺度CNN特征融合进ViT标记，LoDa在七个IQA数据集上实现了最先进性能，仅需极少微调，证明IQA受益于强大的全局表征与局部归纳偏置的结合。

ABSTRACT

Image Quality Assessment (IQA) constitutes a fundamental task within the field of computer vision, yet it remains an unresolved challenge, owing to the intricate distortion conditions, diverse image contents, and limited availability of data. Recently, the community has witnessed the emergence of numerous large-scale pretrained foundation models, which greatly benefit from dramatically increased data and parameter capacities. However, it remains an open problem whether the scaling law in high-level tasks is also applicable to IQA task which is closely related to low-level clues. In this paper, we demonstrate that with proper injection of local distortion features, a larger pretrained and fixed foundation model performs better in IQA tasks. Specifically, for the lack of local distortion structure and inductive bias of vision transformer (ViT), alongside the large-scale pretrained ViT, we use another pretrained convolution neural network (CNN), which is well known for capturing the local structure, to extract multi-scale image features. Further, we propose a local distortion extractor to obtain local distortion features from the pretrained CNN and a local distortion injector to inject the local distortion features into ViT. By only training the extractor and injector, our method can benefit from the rich knowledge in the powerful foundation models and achieve state-of-the-art performance on popular IQA datasets, indicating that IQA is not only a low-level problem but also benefits from stronger high-level features drawn from large-scale pretrained models.

研究动机与目标

• 为解决图像质量评估（IQA）中标签数据有限和复杂失真模式的问题，这些因素阻碍了大规模模型的有效训练。
• 探究高层视觉任务中的缩放规律是否适用于IQA，后者对低层次图像失真敏感。
• 通过引入外部CNN提取的特征，弥补ViT在缺乏局部结构归纳偏置方面的不足，从而提升其在IQA中的表现。
• 在不进行完整微调的情况下，实现大规模预训练模型在IQA上的高效适配，保留模型知识的同时增强对局部特征的敏感性。
• 证明结合全局ViT特征与多尺度局部失真特征，可实现更优的预测精度与泛化能力。

提出的方法

• 使用预训练的视觉Transformer（ViT）和独立的预训练CNN，分别从输入图像中提取全局特征与多尺度局部特征。
• 局部失真提取器通过卷积和平均池化处理CNN的多尺度特征图，以分离出与失真相关的信号。
• 局部失真注入器利用交叉注意力将提取的局部特征注入ViT标记的多个层中，保持空间对齐。
• 将注入的特征投影到低维潜在空间（维度r=64），以降低计算成本，灵感来自自然语言处理中的适配器技术。
• 仅微调失真提取器和注入器，而ViT和CNN保持冻结，实现高效适配。
• 在ViT编码器块的多个层级应用特征融合，消融实验表明在所有层中融合时性能最佳。

实验结果

研究问题

• RQ1 大规模预训练ViT能否在不进行完整微调的情况下，通过基础模型的知识有效适配于IQA？
• RQ2 在ViT对捕捉局部结构能力较弱的背景下，从CNN注入局部失真特征是否能提升其在IQA中的表现？
• RQ3 融合交互次数（即特征注入的层数）如何影响模型性能与效率？
• RQ4 在交叉注意力模块中，最优的潜在维度与注意力头数量是多少？
• RQ5 注入的局部特征是否增强了模型捕捉高频图像细节的能力，如傅里叶分析所示？

主要发现

• LoDa在七个标准IQA数据集上实现最先进性能，在KonIQ-10k数据集上SRCC为0.932，PLCC为0.944；在KADID-10k数据集上SRCC为0.931，PLCC为0.936。
• 当潜在维度为64时模型表现最佳，对这一范围内的超参数变化表现出极低的敏感性。
• 在交叉注意力模块中使用四个注意力头的性能略优于两个或八个头。
• 在全部12个编码器层中融合特征可获得最佳结果，但即使仅在一半层数（6层）中融合，也能实现强劲性能，表明对融合深度减少具有鲁棒性。
• 傅里叶分析证实，与标准ViT相比，LoDa能捕捉到更多高频信号，表明其对局部失真具有更强的敏感性。
• 该方法保持了高泛化能力与训练效率，因为仅训练轻量级的提取器与注入器，而大型ViT与CNN保持冻结。