[論文レビュー] Region Rebalance for Long-Tailed Semantic Segmentation

Jiequan Cui, Yuhui Yuan+5 more|arXiv (Cornell University)|Apr 5, 2022

Advanced Neural Network Applications被引用数 8

ひとこと要約

本稿では、長尾分布におけるセマンティックセグメンテーションのクラス不均衡問題に取り組むための新規手法であるRegion Rebalanceを提案する。この手法は、関連するピクセルを領域にグループ化し、補助学習ブランチを介して領域レベルの特徴量に対して再重み付けされた分類器を適用することで、ピクセルレベルの学習とIoUベースの評価の間にある不整合を是正する。このアプローチにより、Deeplabv3+、OCRNet、Swin、BEiTなど複数のアーキテクチャにおいて一貫したmIoUの向上が達成され、ADE20KでBEiTに対して+0.7%の向上を示した。

ABSTRACT

In this paper, we study the problem of class imbalance in semantic segmentation. We first investigate and identify the main challenges of addressing this issue through pixel rebalance. Then a simple and yet effective region rebalance scheme is derived based on our analysis. In our solution, pixel features belonging to the same class are grouped into region features, and a rebalanced region classifier is applied via an auxiliary region rebalance branch during training. To verify the flexibility and effectiveness of our method, we apply the region rebalance module into various semantic segmentation methods, such as Deeplabv3+, OCRNet, and Swin. Our strategy achieves consistent improvement on the challenging ADE20K and COCO-Stuff benchmark. In particular, with the proposed region rebalance scheme, state-of-the-art BEiT receives +0.7% gain in terms of mIoU on the ADE20K val set.

研究の動機と目的

• 長尾データ分布に起因するレアクラスにおける性能の低さという、セマンティックセグメンテーションにおけるクラス不均衡の課題に対処すること。
• 交差エントロピー損失とIoU評価指標の間にある不整合のため、ピクセルレベルの再重み付けがIoUを向上させないことを特定すること。
• ピクセルの相関性が非i.i.d.であることに起因する問題を解消するため、再重み付けをピクセルレベルから領域レベルに移行すること。
• 主なセグメンテーションネットワークを変更せずに性能を向上できる柔軟でプラグイン可能なモジュールを開発すること。
• ADE20KおよびCOCO-Stuff164Kを含む多様なアーキテクチャとベンチマークにおいて一貫した性能向上を実証すること。

提案手法

• 同じセマンティッククラスに属するピクセル特徴量を、連結成分を基にした空間的平均プーリングにより領域特徴量にグループ化する。
• 訓練中に領域レベル特徴量に対してバランスの取れたソフトマックス損失を適用する補助的な領域分類ブランチを導入する。
• 主なセグメンテーションヘッドはピクセル交差エントロピー損失で、領域ブランチはバランスの取れたソフトマックス損失で学習させ、両者を同時に最適化する。
• 総訓練目的関数におけるピクセル損失と領域損失の重みを調整するハイパーパrameter λ を使用する。
• 推論時には領域ブランチを削除し、元のセグメンテーションネットワークを変更しない。
• 領域レベルのクラス頻度はピクセルレベルの頻度よりも不均衡が小さいことを利用し、より効果的な再重み付けを可能にする。

実験結果

リサーチクエスチョン

• RQ1 なぜ長尾セマンティックセグメンテーションにおいてピクセルレベルの再重み付けは、ピクセル精度を向上させてもmIoUを向上させないのか？
• RQ2 隣接ピクセル間の空間的相関性が、クラス頻度に基づくピクセル再重み付けの有効性を低下させる理由は何か？
• RQ3 領域レベル分類が、長尾セマンティックセグメンテーションにおける再重み付けに、より効果的かつ安定した信号を提供できるか？
• RQ4 提案手法の領域再重み付けは、異なるアーキテクチャやベンチマークに一般化可能か？
• RQ5 ピクセル交差エントロピー損失と領域レベル再重み付けを組み合わせた場合、全体のセグメンテーション性能にどのような影響を与えるか？

主な発見

• BEiTに適用した場合、ADE20Kの検証セットで+0.7%のmIoU向上を達成し、提出時時点で新たなSOTAを樹立した。
• ADE20Kにおいて、OCRNet、DeepLabv3+、Swin、BEiTの順に、それぞれ+1.21%、+1.61%、+1.22%、+0.7%のmIoU向上を達成した。
• COCO-Stuff164Kでは、低頻度クラスのIoUが一貫して向上し、「shower」クラスのmIoUが0から6.14に上昇した。
• アブレーションスタディの結果、COCO-Stuff164Kにおいて領域ブランチ単体でも顕著な向上が得られ、高不均衡状況下での強い正則化効果が示された。
• ハイパーパrameter λ に対してロバストであり、最適な性能は[0.1, 0.3]の範囲で観察された。また、Dice損失を単独で使用しても効果を発揮した。
• ピクセル交差エントロピー損失と領域レベルのバランスの取れたソフトマックス損失を組み合わせた場合が最良の性能（45.02 mIoU）を示したが、Dice損失を単独で使用した場合、1.14 mIoUまで急激に低下した。