[論文レビュー] MUM : Mix Image Tiles and UnMix Feature Tiles for Semi-Supervised Object Detection

JongMok Kim, Jooyoung Jang+4 more|arXiv (Cornell University)|Nov 21, 2021

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文では、画像タイルの混合と特徴タイルのアンミックスを用いる新しいデータ拡張手法、Mix/UnMix (MUM) を提案する。この手法により、境界ボックスの局在情報を損なわずに補間正則化を実現できる。MUMは、MS-COCO および PASCAL VOC ベンチマークにおいて一貫してベースライン手法を上回り、最小限の計算コストで最先端の性能を達成する。

ABSTRACT

Many recent semi-supervised learning (SSL) studies build teacher-student architecture and train the student network by the generated supervisory signal from the teacher. Data augmentation strategy plays a significant role in the SSL framework since it is hard to create a weak-strong augmented input pair without losing label information. Especially when extending SSL to semi-supervised object detection (SSOD), many strong augmentation methodologies related to image geometry and interpolation-regularization are hard to utilize since they possibly hurt the location information of the bounding box in the object detection task. To address this, we introduce a simple yet effective data augmentation method, Mix/UnMix (MUM), which unmixes feature tiles for the mixed image tiles for the SSOD framework. Our proposed method makes mixed input image tiles and reconstructs them in the feature space. Thus, MUM can enjoy the interpolation-regularization effect from non-interpolated pseudo-labels and successfully generate a meaningful weak-strong pair. Furthermore, MUM can be easily equipped on top of various SSOD methods. Extensive experiments on MS-COCO and PASCAL VOC datasets demonstrate the superiority of MUM by consistently improving the mAP performance over the baseline in all the tested SSOD benchmark protocols.

研究の動機と目的

• 補間正則化を半教師付き物体検出に適用する課題に取り組むこと、特に標準的手法が境界ボックスのアノテーションを歪めることを防ぐこと。
• 物体検出に適した意味的・空間的情報を保持しつつ、強力な拡張を可能にするデータ拡張戦略を設計すること。
• 既存の教師-生徒フレームワークと互換性がある、即席型の手法を開発すること。
• 画像タイリングと特徴アンミックスを通じて自然な隠蔽を生成することで、モデルの汎化性とロバスト性を向上させること。
• MUM の有効性を、さまざまなバックボーンと、半教師ありおよび教師あり学習の両設定で検証すること。

提案手法

• MUM はバッチ内の画像タイルを混合し、1つの入力画像に統合することで、生徒ネットワークのための強力に拡張された入力を生成する。
• 生徒のバックボーンから得られる特徴マップは、特徴空間におけるアンミックス操作を通じて元の空間的位置に再構成され、マスクが外される。
• マスクが外された特徴は検出ヘッドに供給され、混合されたが空間的に整合性のある特徴から学習できる。
• 教師ネットワークは弱く拡張された入力を処理し、生徒の訓練のための高信頼度の疑似ラベルを生成する。
• 生徒ネットワークは、ラベル付きデータに対する教師あり損失と、疑似ラベルを用いた未ラベルデータに対する一貫性損失の組み合わせで訓練される。
• 教師は生徒の重みの指数移動平均（EMA）を用いて更新され、安定した疑似ラベル生成を保証する。

実験結果

リサーチクエスチョン

• RQ1 境界ボックスの局在性能を低下させることなく、半教師付き物体検出に補間正則化を効果的に適用できるか？
• RQ2 画像タイルの混合と特徴タイルのアンミックスが、半教師付き物体検出におけるモデルの汎化性と mAP に与える影響は何か？
• RQ3 MUM は、さまざまなデータセット、バックボーンアーキテクチャ、および訓練プロトコルにおいて、どの程度性能を向上させるか？
• RQ4 Cutout などの既存の拡張手法と比較して、MUM は意味的情報をどの程度保持し、検出精度をどの程度向上させるか？
• RQ5 SSODフレームワーク全体の性能向上において、MUM の貢献と教師ネットワークの品質の貢献はそれぞれどの程度か？

主な発見

• MUM は、すべての標準的な SSOD ベンチマークプロトコルにおいて、MS-COCO および PASCAL VOC データセットで最先端の性能を達成し、COCO-Standard 1% で 16.52 mAP を記録した。
• COCO-Standard 1% プロトコルにおいて、MUM はベースラインの Unbiased Teacher の 20.70 mAP から 21.81 mAP に向上させ、1.11 の絶対的向上を達成した。
• MUM は特に小形物体において顕著な向上を示し、AP_S を 8.93 から 9.86 に向上させ、小スケールのインスタンスの局在精度が向上していることを示している。
• 教師あり ImageNet 分類の設定において、MUM は 38.12 mAP を達成し、Cutout の 36.87 mAP を上回り、正則化手法としての汎用性を示している。
• Grad-CAM 視覚化により、MUM が局所的な物体領域に注目を向けるよう促進していることが確認され、小形・細分化された物体の検出が向上している。
• 除去実験の結果、MUM は弱い教師を用いても一貫して性能を向上させることから、データ拡張戦略としての強靭性と有効性が裏付けられている。