[論文レビュー] Source-free Unsupervised Domain Adaptation for Blind Image Quality Assessment

Jianzhao Liu, Xin Li+2 more|arXiv (Cornell University)|Jul 17, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、画像品質を順位分布の予測タスクとしてモデル化することで、元のデータが入手不可な状況下でも、ラベルなしのターゲットドメインに適応可能な、ソースフリーの教師なしドメイン適応手法を、ブラインド画像品質評価（BIQA）に対して提案する。自己教師ありの目的関数（エントロピー最小化、予測多様性最大化、ガウス正則化）をバッチ正則化（BN）のアフィンパラメータに適用し、事前学習済みモデルをラベルなしのターゲットドメインに適応させる。この手法により、ソースデータにアクセスできない状況下でも、クロスドメインBIQAベンチマークにおいて最先端の性能を達成する。

ABSTRACT

Existing learning-based methods for blind image quality assessment (BIQA) are heavily dependent on large amounts of annotated training data, and usually suffer from a severe performance degradation when encountering the domain/distribution shift problem. Thanks to the development of unsupervised domain adaptation (UDA), some works attempt to transfer the knowledge from a label-sufficient source domain to a label-free target domain under domain shift with UDA. However, it requires the coexistence of source and target data, which might be impractical for source data due to the privacy or storage issues. In this paper, we take the first step towards the source-free unsupervised domain adaptation (SFUDA) in a simple yet efficient manner for BIQA to tackle the domain shift without access to the source data. Specifically, we cast the quality assessment task as a rating distribution prediction problem. Based on the intrinsic properties of BIQA, we present a group of well-designed self-supervised objectives to guide the adaptation of the BN affine parameters towards the target domain. Among them, minimizing the prediction entropy and maximizing the batch prediction diversity aim to encourage more confident results while avoiding the trivial solution. Besides, based on the observation that the IQA rating distribution of single image follows the Gaussian distribution, we apply Gaussian regularization to the predicted rating distribution to make it more consistent with the nature of human scoring. Extensive experimental results under cross-domain scenarios demonstrated the effectiveness of our proposed method to mitigate the domain shift.

研究の動機と目的

• プライバシー制約や保存容量制限によりソースデータが入手不可な状況下で、ドメインシフトが生じるブラインド画像品質評価（BIQA）の課題に対処すること。
• 分類ベースのソースフリーのドメイン適応と、IQAラベルが本質的に不確実で連続的であるという性質の間のギャップを埋めること。
• 事前学習済みソースモデルとラベルなしのターゲットデータのみに依存する、シンプルでありながら効果的な適応手法を開発すること。
• 品質スコアを確率的分布としてモデル化することで、クロスドメインBIQAシナリオにおける一般化性能を向上させること。
• ドメイン固有のバッチ正則化（DSBN）レイヤーを用いて、複数のターゲットドメインにわたる継続的学習を可能にすること。

提案手法

• BIQAを順位分布予測問題として定式化し、スカラ値ではなく確率分布として品質スコアをモデル化する。
• 3つの自己教師あり目的関数を設計：予測の信頼性を高めるエントロピー最小化、自明な解を避ける多様性最大化、人間のスコア分布に一致させるガウス正則化。
• バッチ正則化（BN）レイヤーのアフィンパラメータのみを最適化することで、ネットワーク全体の微調整を伴わずに、'ソース風'特徴を'target風'に変換する。
• 複数のターゲットドメインにおける同時および逐次的適応を可能にするドメイン固有のバッチ正則化（DSBN）を採用する。
• k-meansクラスタリングと適合度分析を用い、人間によるスコア分布が概ねガウス分布に近いことを検証する。
• MMDベースのアライメントと確率的モデリングを適用し、ソースドメインとターゲットドメイン間の特徴の一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ラベルが本質的に不確実で連続的であるBIQAにおいて、ソースデータが入手不可な状況下でも、ソースフリーの教師なしドメイン適応を効果的に適用できるか？
• RQ2 ソースデータが利用不可で、事前学習済みモデルしか入手できない状況下で、どのように自己教師ありの目的関数を設計すれば適応を効果的に誘導できるか？
• RQ3 スカラ回帰と比較して、画像品質を順位分布としてモデル化することで、どの程度適応性能が向上するか？
• RQ4 予測された分布にガウス正則化を適用することで、人間の知覚と整合性を高め、一般化性能を向上させられるか？
• RQ5 本手法は、災難的忘却を防ぎつつ、複数のターゲットドメインにわたる継続的学習をサポートできるか？

主な発見

• 提案手法は、複数のクロスドメインBIQAベンチマークで最先端の性能を達成し、KonIQ-10Kではベースライン手法と比較してSROCCが最大0.087向上した。
• エントロピー、多様性、ガウス正則化損失を組み合わせることで最良の性能が得られ、全データセットでSROCCおよびPLCCが一貫して向上した。
• ガウス正則化損失は、予測された順位分布をよりガウス分布に近づける効果があり、人間のスコア行動と整合的であることが確認された。
• 継続的学習の設定でも高い性能を維持し、6つのデータセットを逐次学習する際、微調整やEWCといった教師ありベースラインを上回った。
• DSBNは、複数ドメインにおける同時および逐次的適応を安定的に実現し、過去のタスクの知識を保持しながら、災難的忘却を防止した。
• 可視化結果から、エントロピーと多様性損失のみでは分布が適切にキャリブレーションされておらず、ガウス正則化により適切なガウス形状に回復され、予測精度が向上したことが確認された。