[論文レビュー] Task-Specific Normalization for Continual Learning of Blind Image Quality Models

Weixia Zhang, Kede Ma+2 more|arXiv (Cornell University)|Jul 28, 2021

Image Processing Techniques and Applications被引用数 14

ひとこと要約

本稿では、安定性を確保するため事前学習済み畳み込みフィルタを凍結し、柔軟性を確保するためタスク固有のバッチ正規化パラメータを学習する、盲目的画像品質評価（BIQA）の継続的学習手法TSN-IQAを提案する。複数のタスク固有ヘッドからの予測を組み合わせる軽量なK-meansゲーティング機構を用いることで、わずかなパラメータ増加で、6つのIQAデータセットにおいて優れた精度、タスク順序および長さに対するロバスト性、最小限の忘却を達成する。

ABSTRACT

In this paper, we present a simple yet effective continual learning method for blind image quality assessment (BIQA) with improved quality prediction accuracy, plasticity-stability trade-off, and task-order/-length robustness. The key step in our approach is to freeze all convolution filters of a pre-trained deep neural network (DNN) for an explicit promise of stability, and learn task-specific normalization parameters for plasticity. We assign each new IQA dataset (i.e., task) a prediction head, and load the corresponding normalization parameters to produce a quality score. The final quality estimate is computed by black a weighted summation of predictions from all heads with a lightweight $K$-means gating mechanism. Extensive experiments on six IQA datasets demonstrate the advantages of the proposed method in comparison to previous training techniques for BIQA.

研究の動機と目的

• 新しい歪みタイプに適応するが、以前に学習したデータの性能を損なわないよう、盲目的地図品質評価（BIQA）における継続的学習における崩壊的忘却を解消すること。
• 特徴抽出とタスク固有の適応を分離することで、BIQAにおける継続的学習の柔軟性と安定性のトレードオフを改善すること。
• タスク順序や長さの変化に対してもロバストな性能を発揮し、LwFのような正則化ベース手法の限界を克服すること。
• テスト時オラクルや追加の深層ネットワークに依存しない、軽量な推論機構を設計すること。
• 訓練タスクに含まれない未観測のIQAデータセットへの一般化を実証し、実世界の分布シフトへの適応可能性を検証すること。

提案手法

• 事前学習済みDNNのすべての畳み込みフィルタを凍結し、学習済み特徴を保持し、タスク間での安定性を確保する。
• 各新しいタスクに対してタスク固有のバッチ正規化（BN）パラメータを導入し、本体ネットワークの更新なしに新しい歪みタイプに柔軟に適応可能にする。
• 各タスクに別個の全結合予測ヘッドを接続し、対応するタスク固有BNパラメータを用いて品質スコアを生成する。
• 歪みに敏感なBN統計に基づいて動的重みを計算する軽量なK-meansゲーティング（KG）機構を用いて、すべてのヘッドからの予測を組み合わせる。
• 推論時にKGモジュールを用い、すべてのヘッド予測の重み付き平均を計算することで、入力歪み特性に動的に適応する。
• 各新しいタスクに対して標準損失を用いてエンドツーエンドで学習し、特徴抽出器は凍結したまま、BNおよびヘッドパラメータのみを更新する。

Figure 1: Illustration of continual learning for BIQA. The grey cylinders denote the inaccessibility of previous and future training data. During testing, we use all previous and the current test sets to evaluate the stability and plasticity of the learned BIQA model.

実験結果

リサーチクエスチョン

• RQ1 タスク固有の正規化は、継続的BIQAにおいて崩壊的忘却を効果的に防止しつつ、高い予測精度を維持できるか？
• RQ2 従来の継続的学習ベースラインと比較して、本手法はタスク順序やシーケンス長の変化に対しどのように性能を発揮するか？
• RQ3 追加のモデル部品なしに、K-meansゲーティング機構は入力歪み特性に基づいて意味のあるヘッド重みを適切に割り当てられるか？
• RQ4 本手法は、訓練シーケンスに含まれない未観測のIQAデータセットにも一般化できるか？
• RQ5 計算複雑度はタスク数に対してどのようにスケーリングされるか？また、効率的な高速化が可能か？

主な発見

• TSN-IQAは6つのベンチマークIQAデータセットで最先端の性能を達成し、LwF-KGなどの先行手法と比較して優れた品質予測精度を示す。
• 本手法はタスク順序および長さに対して強くロバストであり、さまざまな訓練シーケンスにおいても最小限の性能低下を示す。
• K-meansゲーティング機構は直感的な重み割り当てを実現する：合成歪みデータセット（例：LIVE, CSIQ）で学習したヘッドはTID2013では高い重みを、現実的歪み（例：KonIQ-10K）で学習したヘッドはSPAQでは高い重みを受ける。
• BNパラメータのKLダイバージェンスと予測精度との間に強い相関（SROCC = -0.776）が確認され、類似した歪みタイプはより正確なデータセット間一般化をもたらすことが示唆される。
• 本手法はタスク数に対して線形の計算複雑度を維持し、ハードアサインメント版では推論コストをT分の1に削減しつつ、同じ複雑度でLwF-KGを上回る性能を達成する。
• TSN-IQAは未観測のデータセットに対しても良好に一般化する。TID2013およびSPAQでは訓練時に接触していないにもかかわらず、妥当なSROCCを達成し、一般化能力の有効性を裏付ける。

Figure 2: Illustration of task-specific BN. The parameters of all convolutions are frozen and shared across all tasks. A group of BN parameters is customized for each task.