[論文レビュー] ObjectAug: Object-level Data Augmentation for Semantic Image Segmentation

Jiawei Zhang, Yanchun Zhang+1 more|arXiv (Cornell University)|Jan 30, 2021

Advanced Neural Network Applications参考文献 38被引用数 5

ひとこと要約

ObjectAugは、セマンティック画像セグメンテーションのためのオブジェクトレベルのデータ拡張を提案する。セグメンテーションマスクを用いて画像をオブジェクトとバックグラウンドに分離し、スケーリング、回転、シフトなどの変換を個別に適用することでオブジェクトを拡張し、画像インpaintingによりアーティファクトを回復する。このアプローチにより境界の一般化が向上し、カテゴリに配慮した拡張が可能となり、CutMix や CutOut などの画像レベル手法と比較して、ベンチマークデータセットで最大 0.9% の mIoU 向上を達成する。

ABSTRACT

Semantic image segmentation aims to obtain object labels with precise boundaries, which usually suffers from overfitting. Recently, various data augmentation strategies like regional dropout and mix strategies have been proposed to address the problem. These strategies have proved to be effective for guiding the model to attend on less discriminative parts. However, current strategies operate at the image level, and objects and the background are coupled. Thus, the boundaries are not well augmented due to the fixed semantic scenario. In this paper, we propose ObjectAug to perform object-level augmentation for semantic image segmentation. ObjectAug first decouples the image into individual objects and the background using the semantic labels. Next, each object is augmented individually with commonly used augmentation methods (e.g., scaling, shifting, and rotation). Then, the black area brought by object augmentation is further restored using image inpainting. Finally, the augmented objects and background are assembled as an augmented image. In this way, the boundaries can be fully explored in the various semantic scenarios. In addition, ObjectAug can support category-aware augmentation that gives various possibilities to objects in each category, and can be easily combined with existing image-level augmentation methods to further boost performance. Comprehensive experiments are conducted on both natural image and medical image datasets. Experiment results demonstrate that our ObjectAug can evidently improve segmentation performance.

研究の動機と目的

• 固定されたオブジェクト-バックグラウンド結合性により、画像レベルのデータ拡張がオブジェクト境界の一般化に不十分であるという制限に対処する。
• 個々のオブジェクトを独立して拡張することで、セマンティックの一貫性を保ちながらセグメンテーションのロバスト性を向上させる。
• トレーニングデータにおけるクラスの不均衡を軽減するため、カテゴリに配慮した拡張を支援する。
• 既存の画像レベル拡張技術（例：CutOut, CutMix）とシームレスに統合し、さらなる性能向上を実現する。

提案手法

• 正解のセマンティックセグメンテーションマスクを用いて、入力画像を個々のオブジェクトとバックグラウンドに分解する。
• スケーリング、回転、シフトといった標準的な拡張技術を、オブジェクトのセマンティッククラスを保持したまま、個別に適用する。
• オブジェクト拡張によって生じるピクセルレベルのアーティファクトを回復するために、画像インpaintingを用いる。
• 拡張されたオブジェクトとバックグラウンドを再構成し、多様な空間的配置を持つ、意味的に整合性のある新しい画像を生成する。
• 特定のオブジェクトカテゴリにのみ変換を適用することで、カテゴリに配慮した拡張を実現する。
• 既存の画像レベル拡張手法（例：CutOut, CutMix）と組み合わせることで、モデルの一般化性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 画像レベルの拡張と比較して、オブジェクトレベルの拡張が、オブジェクト境界の一般化を改善することで、セマンティックセグメンテーションの性能向上を達成できるか？
• RQ2 カテゴリに配慮した拡張は、レアクラスや難易度の高いセグメンテーションクラスにおけるモデル性能にどのように影響するか？
• RQ3 ObjectAugは、既存の画像レベル拡張戦略とどの程度組み合わせて、セグメンテーション精度をさらに向上させられるか？
• RQ4 スケーリング比、回転角度、シフト距離といったハイパーパrameterが、ObjectAugの性能にどの程度影響を与えるか？

主な発見

• Cityscapes データセットにおいて、DeepLab V3+ に適用した結果、MobileNet で 1.5%、ResNet-50 で 1.3%、ResNet-101 で 0.9% の mIoU 向上を達成した。
• CRAG 医療画像データセットでは、FCN、U-Net、PSPNet、DeepLab V3 といった複数のアーキテクチャで、mIoU が 2.6–3.3% 向上した。
• Cityscapes では CutOut より 0.8%、CutMix より 0.6% の mIoU 向上を達成し、それらの性能向上をほぼ二倍にした。
• CRAG データセットでは CutOut より 0.9%、CutMix より 0.7% の mIoU 向上を示し、ドメインをまたいで強い一般化性能を示した。
• ハイパーパrameterのアブレーション解析により、最適なパラメータはスケーリング比 M_z=1.2、回転角度 M_r=15°、シフト距離 M_s=5 であり、確率は [0.2, 0.2, 0.1] であった。
• ハードケース順位に基づくカテゴリに配慮した拡張は、レアネス順位に基づくものより 0.8% の性能向上を達成し、困難な領域に対してより大きな影響を示した。