[論文レビュー] Context Decoupling Augmentation for Weakly Supervised Semantic Segmentation

Yukun Su, Ruizhou Sun+2 more|arXiv (Cornell University)|Mar 2, 2021

Advanced Neural Network Applications参考文献 49被引用数 9

ひとこと要約

本稿では、弱教師付きセマンティックセグメンテーション（WSSS）のための新しいデータ拡張法であるコンテキストデカップリングオーグメンテーション（CDA）を提案する。この手法は、オブジェクトインスタンスをランダムに新しい背景に貼り付けることで、オブジェクトとコンテキストの依存関係を断つ。これらのデカップリングされたサンプルで訓練することで、モデルは表面的なコンテキスト的手がかりに依存するのではなく、内在的なオブジェクト特徴に注目するよう学習し、PASCAL VOC 2012 テストセットで66.8%のmIoU、COCOバリデーションセットで33.7%のmIoUを達成し、新たなSOTA性能を実現した。

ABSTRACT

Data augmentation is vital for deep learning neural networks. By providing massive training samples, it helps to improve the generalization ability of the model. Weakly supervised semantic segmentation (WSSS) is a challenging problem that has been deeply studied in recent years, conventional data augmentation approaches for WSSS usually employ geometrical transformations, random cropping and color jittering. However, merely increasing the same contextual semantic data does not bring much gain to the networks to distinguish the objects, e.g., the correct image-level classification of "aeroplane" may be not only due to the recognition of the object itself, but also its co-occurrence context like "sky", which will cause the model to focus less on the object features. To this end, we present a Context Decoupling Augmentation (CDA) method, to change the inherent context in which the objects appear and thus drive the network to remove the dependence between object instances and contextual information. To validate the effectiveness of the proposed method, extensive experiments on PASCAL VOC 2012 dataset with several alternative network architectures demonstrate that CDA can boost various popular WSSS methods to the new state-of-the-art by a large margin.

研究の動機と目的

• 弱教師付きセマンティックセグメンテーションにおいて、深層ネットワークが内在的なオブジェクト特徴ではなく、表面的なコンテキスト的手がかり（例：「飛行機」に対して「空」）に依存する問題に対処すること。
• 正確なオブジェクト局所化を妨げる共起する背景コンテキストへの依存を低減すること。
• 追加のアノテーションやオブジェクトレベルのラベルを必要とせず、特徴学習を向上させるデータ拡張戦略を開発すること。
• 画像ラベルのみを用いて、PASCAL VOC 2012およびCOCOベンチマークでSOTA性能を達成すること。

提案手法

• CDAは、オブジェクトインスタンスを既存のWSSSモデルで事前に予測する2段階の訓練プロセスを採用する。
• 選択された前景インスタンスが、元の画像の異なる背景シーンにランダムに貼り付けられ、拡張された訓練サンプルが生成される。
• 拡張処理はオンラインで実行され、各訓練イテレーションでオブジェクトと背景のランダムな組み合わせを用いることで、多様性を最大化する。
• モデルは元の画像と拡張画像の両方で訓練され、文脈に依存しない判別性の高いオブジェクト特徴を学習するよう強制される。
• この手法はさまざまなWSSSアーキテクチャと互換性があり、追加のアノテーションやモデル再トレーニングを必要としない。
• 分類器がオブジェクト固有の特徴をよりよく区別できるようにするため、ペairワイズ訓練戦略が採用されている。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトを元のコンテキスト的背景から分離することで、弱教師付きセマンティックセグメンテーションにおける特徴学習が向上するか？
• RQ2 オブジェクトインスタンスを新しいシーンにランダムに再貼付することで、表面的なコンテキスト的手がかりへの依存が減少するか？
• RQ3 コンテキストデカップリングのデータ拡張戦略は、追加のアノテーションなしに複数のWSSSベースラインにおける性能を向上させられるか？
• RQ4 CDAは、PASCAL VOC 2012 や COCO といった標準ベンチマークでmIoUをどの程度向上させるか？

主な発見

• CDAはPASCAL VOC 2012 テストセットで66.8%のmIoUを達成し、新たなSOTAを樹立した。
• COCOバリデーションセットでは、CDAが33.7%のmIoUを達成し、前回の最高記録を1.1%上回った。
• IRNet や SEAM を含む全テストベースラインが、平均して2.8%以上のmIoU向上を達成した。
• 定性的な結果から、CDAはより正確で完全なオブジェクトマスクを生成し、境界の明確化が図られていることが示された。
• SEAM + CDAは、PASCAL VOC 2012 のバリデーションおよびテストセットの両方で最高性能を記録し、先行するSOTA手法を上回った。
• アブレーションスタディの結果、CDAはモデルがコンテキスト的手がかりに依存する程度を効果的に低減し、一般化性能の向上に寄与することが確認された。