[論文レビュー] CP2M: Clustered-Patch-Mixed Mosaic Augmentation for Aerial Image Segmentation

Yijie Li, Hewei Wang+5 more|ArXiv.org|Jan 26, 2025

Robotics and Sensor-Based Localization被引用数 3

ひとこと要約

CP2Mは接続成分ラベリングを用いた連結成分を考慮した二段階の拡張（Enhanced MosaicとClustered Patch Mixed）を導入し、空中画像分割の精度とmIoUを向上させる。

ABSTRACT

Remote sensing image segmentation is pivotal for earth observation, underpinning applications such as environmental monitoring and urban planning. Due to the limited annotation data available in remote sensing images, numerous studies have focused on data augmentation as a means to alleviate overfitting in deep learning networks. However, some existing data augmentation strategies rely on simple transformations that may not sufficiently enhance data diversity or model generalization capabilities. This paper proposes a novel augmentation strategy, Clustered-Patch-Mixed Mosaic (CP2M), designed to address these limitations. CP2M integrates a Mosaic augmentation phase with a clustered patch mix phase. The former stage constructs a new sample from four random samples, while the latter phase uses the connected component labeling algorithm to ensure the augmented data maintains spatial coherence and avoids introducing irrelevant semantics when pasting random patches. Our experiments on the ISPRS Potsdam dataset demonstrate that CP2M substantially mitigates overfitting, setting new benchmarks for segmentation accuracy and model robustness in remote sensing tasks.

研究の動機と目的

• Limited annotated dataによる空中画像分割の過剰適合を解消する。
• 無関係な意味情報を導入せずにデータの多様性を高めるデータ拡張戦略を開発する。
• 接続成分ラベリングに導かれたモザイク技術とパッチレベルのミキシングを統合する。
• 標準的なリモートセンシングデータセットでCP2Mを評価し、分割性能への影響を分析する。

提案手法

• Phase 1: Enhanced Mosaic augmentatonは、4つのランダムな画像を用いて新規サンプルを構築し、ランダムな反転・回転・切り抜きを適用してキャンバスの4象限に配置し、ランダムサブ画像の切り抜きによって解像度の一貫性を確保する。
• Phase 2: Clustered Patch Mixed (CPM)拡張は、同一クラスのオブジェクトを別々のインスタンスとして分離するために接続成分ラベリングを適用し、ターゲット画像にランダムに選択したインスタンスをマスクベースのパッチ貼付式で貼り付ける。
• CPMステップは接続成分を均一なパッチとして扱わず、関連性のないピクセルの埋め込みを避ける。
• 全体のCP2Mパイプラインは訓練中のモザイクとCPM拡張をバランスさせるためにp_mosaic閾値で適用確率を制御する。
• モデルはMobileNetV2主幹のU-Netアーキテクチャと、クラスウェイト付きの拟合正則化項を含む拡張クロスエントロピー損失を使用する。

Figure 1 : Overall pipeline of Clustered-Patch-Mixed Mosaic (CP2M)

実験結果

リサーチクエスチョン

• RQ1 CP2Mは高解像度空中画像分割における過剰適合と一般化にどのような影響を与えるか。
• RQ2 Enhanced MosaicとClustered Patch Mixedの組み合わせが分割精度とクラス別性能に与える影響はどの程度か。
• RQ3 リモートセンシング分割訓練時のモザイクとCPM拡張の最適な比率は何か。

主な発見

	Accuracy	mIoU	C1	C2	C3	C4	C5	C6
Baseline	84.57	67.29	78.31	86.87	67.15	67.26	76.34	27.74
+ Mosaic	86.25	70.11	80.46	88.32	69.00	71.44	77.79	33.65
+ CP2M	86.74	70.54	81.16	89.05	70.60	71.17	77.03	34.23

• CP2MはISPRS Potsdamデータセットでベースラインとモザイクのみよりも高い精度とmIoUを達成した。
• モザイク拡張により精度が84.57%から86.25%へ、mIoUが67.29%から70.11%へ向上。
• CP2Mはさらに精度を86.74%へ、mIoUを70.54%へと改善し、モザイクのみを上回る。精度で2.17%、mIoUで3.25%の改善。
• クラスごとのIoUはCP2M適用時に大部分のクラスで著しい向上を示し、多様な地上真実カテゴリに対する分割の一貫性が向上。
• 定性的結果は、モザイクとCPMの両方を適用した場合にクラスをより細かく境界化し、誤分類を減少させることを示す。

Figure 2 : MobileNetV2-UNet Model Architecture