[論文レビュー] Augmentation for small object detection

Máté Kisantal, Zbigniew Wojna+3 more|arXiv (Cornell University)|Feb 19, 2019

Advanced Neural Network Applications参考文献 24被引用数 62

ひとこと要約

この論文は、MS COCO上のMask R-CNNで小さな物体がアンカーと不適切にマッチする問題を特定し、小さな物体の検出とセグメンテーションを改善するためにoversamplingと小さな物体のコピー&ペースト拡張を提案し、Mask R-CNNに対する顕著な改善を達成している。

ABSTRACT

In recent years, object detection has experienced impressive progress. Despite these improvements, there is still a significant gap in the performance between the detection of small and large objects. We analyze the current state-of-the-art model, Mask-RCNN, on a challenging dataset, MS COCO. We show that the overlap between small ground-truth objects and the predicted anchors is much lower than the expected IoU threshold. We conjecture this is due to two factors; (1) only a few images are containing small objects, and (2) small objects do not appear enough even within each image containing them. We thus propose to oversample those images with small objects and augment each of those images by copy-pasting small objects many times. It allows us to trade off the quality of the detector on large objects with that on small objects. We evaluate different pasting augmentation strategies, and ultimately, we achieve 9.7\% relative improvement on the instance segmentation and 7.1\% on the object detection of small objects, compared to the current state of the art method on MS COCO.

研究の動機と目的

• MS COCO上でMask R-CNNを用いた場合、小さな物体の検出がより大きな物体に遅れる理由を説明する。
• 小さい物体の性能を向上させるために oversampling と copy-paste 拡張を提案する。
• 拡張戦略を評価し、小物体と大物体の性能のトレードオフを定量化する。

提案手法

• MS COCO上のMask R-CNNにおけるアンカーマッチングと小物体のカバレッジを分析する。
• 訓練中に小物体を含む画像を oversample する。
• 小物体のインスタンスをランダム変換でコピー＆ペーストして画像を拡張する。
• 小物体のAPへの影響を評価するため、さまざまな copy-paste 戦略と貼り付けアルゴリズムをテストする。
• MS COCO上の baseline Mask R-CNN と比較して小物体の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 アンカーベースのマッチングはMS COCO上のMask R-CNNにおける小物体検出にどう影響するか？
• RQ2 小物体を含む画像を oversample することが小物体AP（セグメンテーションと検出）に与える影響は？
• RQ3 小物体の copy-paste 拡張は大物体APを大きく損なうことなく小物体APを改善できるか？
• RQ4 どの copy-paste 戦略と貼り付けルールが小物体APを最大化するか？

主な発見

設定	セグメンテーション小型 AP	セグメンテーション中型 AP	セグメンテーション大型 AP	セグメンテーション全体 AP	検出小型 AP	検出中型 AP	検出大型 AP	検出全体 AP
Baseline	0.113	0.300	0.418	0.280	0.167	0.329	0.393	0.303
Oversampling 2x	0.120	0.299	0.409	0.279	0.173	0.328	0.387	0.304
Oversampling 3x	0.123	0.300	0.404	0.279	0.177	0.329	0.382	0.305
Oversampling 4x	0.120	0.299	0.398	0.276	0.174	0.329	0.374	0.302

• 小物体を含む画像を oversample すると小物体APが改善（セグメンテーションAPで最大1ポイント、相対的に約8.85%のゲイン）
• 小物体の copy-paste 拡張は oversampling と組み合わせると小物体APと全体APを向上させ、原画像と拡張画像の混合を2:1の比率としたとき最良の結果を得る。
• 1–3回程度、単一の小さい物体をコピーして貼り付ける方が、すべての小物体の多数のコピーを貼り付けるより小物体の改善を得やすい。
• 貼り付け先での物体の重複を避け、エッジぼかしを適用しない。非重複の貼り付けは小物体の利得を保持する。
• 総合的に最良の結果は、oversamplingと中程度の拡張（original+aug）をp=0.5で、原画像と拡張画像の小物 object 比率を2:1と組み合わせることから生じる。
• 拡張戦略はトレードオフを生み出す：小物体の改善は大物体の性能を犠牲にする可能性がある。