[論文レビュー] MS-SCANet: A Multiscale Transformer-Based Architecture with Dual Attention for No-Reference Image Quality Assessment

Mayesha Maliha R. Mithila, Mylene C. Q. Farias|arXiv (Cornell University)|Feb 3, 2026

Image and Video Quality Assessment被引用数 0

ひとこと要約

MS-SCANetは、空間とチャネルの注意を備えたデュアルブランチの多尺度トランスフォーマを導入し、Cross-Branch Attentionと2つの一貫性損失を用いてノーリファレンスIQAの性能を向上させる。

ABSTRACT

We present the Multi-Scale Spatial Channel Attention Network (MS-SCANet), a transformer-based architecture designed for no-reference image quality assessment (IQA). MS-SCANet features a dual-branch structure that processes images at multiple scales, effectively capturing both fine and coarse details, an improvement over traditional single-scale methods. By integrating tailored spatial and channel attention mechanisms, our model emphasizes essential features while minimizing computational complexity. A key component of MS-SCANet is its cross-branch attention mechanism, which enhances the integration of features across different scales, addressing limitations in previous approaches. We also introduce two new consistency loss functions, Cross-Branch Consistency Loss and Adaptive Pooling Consistency Loss, which maintain spatial integrity during feature scaling, outperforming conventional linear and bilinear techniques. Extensive evaluations on datasets like KonIQ-10k, LIVE, LIVE Challenge, and CSIQ show that MS-SCANet consistently surpasses state-of-the-art methods, offering a robust framework with stronger correlations with subjective human scores.

研究の動機と目的

• 細部と大域的な画像情報の両方を捉えられる改善されたノーリファレンスIQAを動機づける。
• 複数スケールを効率的に処理するデュアルブランチのトランスフォーマーアーキテクチャを開発する。
• 計算負荷を抑えつつ salient features を強調するために空間注意とチャネル注意を統合する。
• クロスブランチ注意と2つの一貫性損失を提案して多尺度特徴の統合と空間整合性を強化する。

提案手法

• デュアルブランチの多尺度トランスフォーマーが、画像パッチを複数のスケールで並列に処理する。
• ブランチ内自己注意は計算量を削減するためウィンドウベースで、3Dパッチ埋め込みと位置エンコーディングを用いる。
• 特徴チャネルを再調整するために squeeze-and-excitation スタイルのチャネル注意を組み込む。
• スケール間のパッチトークンを直接融合するために CrossViT に触発されたクロスブランチ注意を導入する。
• マルチスケール特徴統合を安定化させるために Cross-Branch Consistency Loss と Adaptive Pooling Consistency Loss を提案する。
• 総訓練損失として L1（MAE）損失と2つの一貫性損失を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 デュアル注意を備えた多尺度トランスフォーマーはNR-IQAの性能をどのように向上させるか。
• RQ2 クロスブランチ注意は異なるスケールからの特徴をIQ Aのために効果的に融合できるか。
• RQ3 新しい一貫性損失はダウンサンプリング時の特徴統合と空間整合性を改善できるか。
• RQ4 本手法は多様なIQ Aデータセットに対して一般化できるか。

主な発見

• MS-SCANetはKONIQ-10k、LIVE、LIVE-C、CSIQのベンチマークでPLCCとSROCCの両指標で一貫してトップ性能を達成。
• 6×6のウィンドウと256の埋め込み次元がPLCCとSROCCのバランスの取れたトレードオフを提供。
• デュアルブランチのデュアル注意とクロスブランチ融合は単一ブランチ注意構成を上回る。
• CB LossとAP Lossはクロススケールの特徴統合とダウンサンプリングの整合性を共同で改善し、全体精度を向上。
• クロスデータセット検証は、トレイン-テストデータセット対間で堅牢なSROCCを示し強い一般化能力を示す。