[論文レビュー] Fairness Continual Learning Approach to Semantic Scene Understanding in Open-World Environments

Thanh-Dat Truong, Hoang-Quan Nguyen+2 more|arXiv (Cornell University)|May 25, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、特徴量の対照的クラスタリング損失と条件付き構造的一致正則化を用いて、崩壊的忘却と背景のシフトを軽減することで、意味的シーン理解における公平性を向上させる新規な公平性継続的学習フレームワークFairCLを提案する。ADE20K、Cityscapes、Pascal VOCベンチマークにおいて最先端性能を達成するとともに、頻度の高いクラスに向けた予測バイアスを最小限に抑えることで、不均衡なクラス分布における公平性を顕著に向上させる。

ABSTRACT

Continual semantic segmentation aims to learn new classes while maintaining the information from the previous classes. Although prior studies have shown impressive progress in recent years, the fairness concern in the continual semantic segmentation needs to be better addressed. Meanwhile, fairness is one of the most vital factors in deploying the deep learning model, especially in human-related or safety applications. In this paper, we present a novel Fairness Continual Learning approach to the semantic segmentation problem. In particular, under the fairness objective, a new fairness continual learning framework is proposed based on class distributions. Then, a novel Prototypical Contrastive Clustering loss is proposed to address the significant challenges in continual learning, i.e., catastrophic forgetting and background shift. Our proposed loss has also been proven as a novel, generalized learning paradigm of knowledge distillation commonly used in continual learning. Moreover, the proposed Conditional Structural Consistency loss further regularized the structural constraint of the predicted segmentation. Our proposed approach has achieved State-of-the-Art performance on three standard scene understanding benchmarks, i.e., ADE20K, Cityscapes, and Pascal VOC, and promoted the fairness of the segmentation model.

研究の動機と目的

• 頻度の高いクラスやピクセル数の多いクラスにバイアスが生じる不均衡なクラス分布に起因する継続的セマンティックセグメンテーションにおける公平性の問題を解決すること。
• 過去のデータが利用できない継続的学習の設定において、崩壊的忘却と背景シフトを軽減すること。
• モデルの安定性と公平性を向上させる、一般化された知識蒸留パラダイムを構築すること。
• 条件付き制約メカニズムを用いて、セグメンテーション予測の構造的一致性を向上させること。
• オープンワールド、インクリメンタル学習設定下での標準ベンチマークにおいて、提案手法を実証的に検証すること。

提案手法

• クラスごとの誤差率に基づいて導出された公平性指標を用い、異なるピクセル分布を示すクラス間でバイアスのある予測をペナルティ化する公平性目的を定義する。
• 従来の知識蒸留法に類似した、過去のクラスの特徴表現を保持するための新規なプロトタイプ対照的クラスタリング損失を導入し、タスク間でプロトタイプを整合させる。
• 隣接ピクセルの予測の一致を促進することで、インクリメンタル学習ステップ全体にわたり、セグメンテーション予測の空間的一致性を強制する条件付き構造的一致損失を導入する。
• タスク固有の損失、公平性目的、構造的制約を組み合わせた総合的な訓練目的を定義し、正確性、公平性、安定性を同時に最適化する。
• 本フレームワークは、ResNetおよびTransformerバックボーンを用いて実装され、50-50および100-10のインクリメンタル学習プロトコル下で、ADE20K、Cityscapes、Pascal VOCで評価される。
• データセットのクラス分布統計を用いて、公平性目的の重みを動的に調整し、少数クラスが学習中に無視されないよう保証する。

実験結果

リサーチクエスチョン

• RQ1 不均衡なクラス分布下において、継続的セマンティックセグメンテーションにおける公平性を形式的に定義・測定する方法は何か、特にその場合の課題は何か。
• RQ2 対照的クラスタリングに基づく損失が、セマンティックセグメンテーションの継続的学習において、崩壊的忘却と背景シフトをどの程度軽減できるか。
• RQ3 公平性に配慮した目的関数は、オープンワールド、インクリメンタル学習のシナリオにおいて、モデルの汎化性能を向上させるとともに、頻度の高いクラスへのバイアスを低減できるか。
• RQ4 条件付き構造的一致損失は、新規クラスと旧クラスの両方において、空間的一致性と予測の信頼性を維持するためにどのように寄与するか。
• RQ5 提案されたフレームワークは、複数の標準ベンチマークで最先端性能を達成するとともに、公平性指標の向上を同時に実現できるか。

主な発見

• ADE20K 100-50ベンチマークにおいて、FairCLはSegFormerバックボーンを用いて最終的なmIoUが35.15%を達成し、以前の最先端手法（33.50%）を上回った。
• ADE20K 50-50ベンチマークにおいて、FairCLはResNetを用いて34.55%のmIoU、SegFormerを用いて35.15%のmIoUを達成し、以前の最先端手法（33.50%）を上回った。
• Cityscapes 11-5タスクにおいて、FairCLはTransformerバックボーンを用いて67.85%のmIoUを達成し、先行手法を上回った。
• Pascal VOC 15-1タスクにおいて、FairCLはSegFormerを用いて61.5%のmIoUを達成し、以前の最先端手法（59.4%）を上回った。
• ADE20Kにおいて、Transformerバックボーンを用いた場合、条件付き構造的一致損失により、初期クラスのmIoUが43.35%から43.56%へ、新規クラスのmIoUが23.50%から25.46%へ向上した。
• クラス0–100および101–150におけるIoUの標準偏差は、それぞれ19.03%から18.71%、20.75%から19.99%に低下し、公平性の向上が示された。