[論文レビュー] Co-mining: Self-Supervised Learning for Sparsely Annotated Object Detection

Tiancai Wang, Tong Yang+2 more|arXiv (Cornell University)|Dec 3, 2020

Advanced Neural Network Applications参考文献 53被引用数 6

ひとこと要約

本稿では、スパースにアノテートされたオブジェクト検出のための自己教師強化学習フレームワークであるCo-miningを提案する。本手法は、シアンプソンネットワークを用いて未ラベルインスタンスの疑似ラベルを生成し、それらをポジティブな監視信号として扱うことで、モデル性能を向上させる。スパースアノテーション設定下でMS COCO上でのベースライン比1.4–2.1%のAP向上を達成し、既存手法を上回る性能を示した。

ABSTRACT

Object detectors usually achieve promising results with the supervision of complete instance annotations. However, their performance is far from satisfactory with sparse instance annotations. Most existing methods for sparsely annotated object detection either re-weight the loss of hard negative samples or convert the unlabeled instances into ignored regions to reduce the interference of false negatives. We argue that these strategies are insufficient since they can at most alleviate the negative effect caused by missing annotations. In this paper, we propose a simple but effective mechanism, called Co-mining, for sparsely annotated object detection. In our Co-mining, two branches of a Siamese network predict the pseudo-label sets for each other. To enhance multi-view learning and better mine unlabeled instances, the original image and corresponding augmented image are used as the inputs of two branches of the Siamese network, respectively. Co-mining can serve as a general training mechanism applied to most of modern object detectors. Experiments are performed on MS COCO dataset with three different sparsely annotated settings using two typical frameworks: anchor-based detector RetinaNet and anchor-free detector FCOS. Experimental results show that our Co-mining with RetinaNet achieves 1.4%~2.1% improvements compared with different baselines and surpasses existing methods under the same sparsely annotated setting. Code is available at https://github.com/megvii-research/Co-mining.

研究の動機と目的

• 大規模データセットにおいて、インスタンスの一部しかアノテートされていない状況で発生する検出性能の低下を是正すること。
• 未ラベルインスタンスに含まれる有用な情報を活用できない、既存手法がハードネガティブ例を再重み付けするか無視するという限界を克服すること。
• アンカーベースおよびアンカーレス検出器の両方に適用可能な汎用的なトレーニングメカニズムを開発すること。
• 自己教師学習を通じて未ラベルインスタンスからポジティブな監視信号をマイニングし、検出性能を向上させること。

提案手法

• 2つのブランチが重みを共有するシアンプソンネットワークアーキテクチャを採用し、元の画像とその増幅版を処理する。
• コジェネレーションモジュールは、一方のブランチの予測結果を用いて、もう一方のブランチの画像ブランチに対して疑似ラベル集合を生成し、相互監視を実現する。
• スコア閾値τを用いて疑似ラベルをフィルタリングし、誤検出と見逃しの両方のバランスを取る。
• 一方のブランチにデータ増幅（例：カラージッタ）を適用し、多様で頑健な疑似ラベル生成を促進する。
• 疑似ラベルをスパースなグランドトゥルースアノテーションと統合し、トレーニング中に統合された監視信号を形成する。
• 本手法はアンカーベース（例：RetinaNet）およびアンカーレス（例：FCOS）検出器の両方と互換性がある。

実験結果

リサーチクエスチョン

• RQ1 スパースにアノテートされたデータセットにおける未ラベルインスタンスは、有効にポジティブな監視信号として活用可能か？
• RQ2 シアンプソンネットワークを用いたコジェネレーテッド疑似ラベル生成は、損失再重み付けや無視戦略を上回る検出性能向上を達成できるか？
• RQ3 提案されたCo-mining機構は、アンカーレスおよびアンカーベースの両検出器アーキテクチャに一般化可能か？
• RQ4 スコア閾値およびデータ増幅の選択が、疑似ラベルの品質および影響にどのように影響するか？

主な発見

• RetinaNetを用いたCo-miningは、COCO-50missセットで33.9のAPを達成し、以前の最先端手法BRLを1.2%、パーツに配慮したサンプリングを5.5%上回った。
• 同じベンチマークにおいて、Co-miningはBRLと比較して$AP_{50}$を2.2%向上させ、分類一般化性能が優れていることを示した。
• FCOSを用いた場合、Co-miningはCOCO-2017のスパースアノテーション設定すべてで一貫した向上を示し、アンカーレス検出器への一般化を実証した。
• スコア閾値0.6が最適な性能を示した。0.4などの低い閾値ではノイズの多い疑似ラベルにより損失の爆発が発生し、0.8などの高い閾値では有用なインスタンスが見逃される。
• カラーアップローデーションがぼかしやノーアップローデーションを上回り、外観の変動が疑似ラベルの多様性と品質を向上させることを示唆した。
• 疑似ラベル生成には失敗事例（誤分類や局所化誤り）が存在するが、真のポジティブ疑似ラベルの優位性により、その影響は限定的である。