[論文レビュー] Semi-Supervised Deep Ensembles for Blind Image Quality Assessment

Zhihua Wang, Dingquan Li+1 more|arXiv (Cornell University)|Jun 26, 2021

Image and Video Quality Assessment参考文献 30被引用数 7

ひとこと要約

本稿では、ラベル付きデータにおけるアンサンブル精度とラベルなしデータにおける多様性を忠実度損失を用いて共同最適化することで、盲目的画像品質評価（BIQA）のための半教師付きディープアンサンブル手法を提案する。この手法は、現実世界のシナリオにおける優れた一般化性能を達成し、効果的な障害特定を可能にし、UNIQUEなどの最先端モデルを上回る一般化性能とアクティブラーニングの効率性を示す。

ABSTRACT

Ensemble methods are generally regarded to be better than a single model if the base learners are deemed to be "accurate" and "diverse." Here we investigate a semi-supervised ensemble learning strategy to produce generalizable blind image quality assessment models. We train a multi-head convolutional network for quality prediction by maximizing the accuracy of the ensemble (as well as the base learners) on labeled data, and the disagreement (i.e., diversity) among them on unlabeled data, both implemented by the fidelity loss. We conduct extensive experiments to demonstrate the advantages of employing unlabeled data for BIQA, especially in model generalization and failure identification.

研究の動機と目的

• ラベル付きデータが限られていることとモデル容量が大きいことによる、ディープBIQAモデルの一般化性能の低さを是正すること。
• 豊富なラベルなし画像データを活用して、盲目的画像品質評価におけるモデルの頑健性と多様性を向上させること。
• 同時に予測精度と相互学習者間の不一致（アンサンブルの多様性）を最大化する半教師付きアンサンブルフレームワークを構築すること。
• 後続のアクティブラーニングに適した、組み込み型の障害特定を可能にし、モデルの改善効率を高めること。
• ラベルなしデータによる多様性の促進が、標準的な相関係数指標をはるかに超えて一般化性能を向上させることを実証すること。

提案手法

• マルチヘッド畳み込みネットワークを用い、各ヘッドがベースラーナーとして機能し、初期段階の特徴を共有しながら、品質予測のための後段の層は別々に持つ。
• アンサンブル出力は個々のベースラーナー予測の平均値として得られ、特徴正規化とスケール整合技術によりスケールの一貫性を確保する。
• 忠実度損失を用いて2つの目的を同時に最適化する：ラベル付きペairワイズ順序付けデータにおける精度と、ラベルなしデータにおける多様性。
• 多様性の目的は、ラベルなしサンプルにおけるベースラーナー間の不一致損失として実装され、精度を損なわず構造的多様性を促進する。
• 精度と多様性のバランスを取るためにトレードオフパラメータγを用い、アブレーションスタディでは低γ値で最適な性能が得られることを示した。
• アブレーションスタディでは、ベースラーナーの数、特徴共有の分割点、およびトレードオフパラメータγの影響を検証した。

実験結果

リサーチクエスチョン

• RQ1 半教師付きラーニングを通じてラベルなしデータを統合することで、ディープBIQAモデルの一般化性能が向上するか？
• RQ2 アンサンブル内のベースラーナー間での多様性を促進することは、より良い障害検出とモデルの頑健性をもたらすか？
• RQ3 アンサンブルの精度と多様性のトレードオフが、標準的および分布外のIQAベンチマークにおける性能に与える影響は何か？
• RQ4 アンサンブルメンバー間の不一致は、アクティブラーニングのための障害ケースの特定に効果的に機能するか？
• RQ5 半教師付きBIQAアンサンブルのための最適なベースラーナーの構成、特徴共有の設定、ハイパーパrameterは何か？

主な発見

• 半教師付きアンサンブルは、KonIQ-10k、SPAQ、FLIVEといった標準データセットではUNIQUEと同等またはわずかに低いSRCCおよびPLCCを達成しているが、gMADコンペティションでは顕著に優れていることから、優れた一般化性能を示している。
• FLIVEにおいて、あらゆるサンプルサイズで最小の障害特定相関（0.427 SRCC）を達成し、障害ケースの特定における優れた効率性を示している。
• ベースラーナー数（M ∈ {2,4,6,8,12}）の変化に関わらず性能が安定しており、Mが増加するにつれてわずかな改善が見られ、このハイパーパrameterに対して頑健であることが示された。
• 最適なトレードオフパラメータγは小さい値（例：0.04）であり、大きな値は多様性を過剰に重視し、精度を損なうため不適切である。
• 初期層（例：最初の畳み込み層や残差ブロックの後）からの計算共有により、安定した性能が得られ、推論速度の向上とメモリ使用量の削減が可能である。
• アンサンブルメンバー間で最大の不一致を示すサンプルは、アクティブラーニングにおいて非常に効果的であり、半教師付き設定におけるアクティブファインチューニングの強力な可能性を示唆している。