[論文レビュー] MINI: Mining Implicit Novel Instances for Few-Shot Object Detection

Yuhang Cao, Jiaqi Wang+2 more|arXiv (Cornell University)|May 6, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文では、ベースクラスの学習データ内に存在するラベルなしで共起する新しいオブジェクト（暗黙的Novelインスタンス）をオフラインおよびオンラインのメカニズムを用いてマイニングする、新しい少サンプル物体検出フレームワークMINIを提案する。自己教師あり学習と教師-生徒更新方式を活用することで、PASCAL VOCおよびMS-COCOのすべてのショット設定において検出性能が顕著に向上し、最大19.3 AP50ポイントの絶対的向上を達成し、新たなSOTA結果を実現した。

ABSTRACT

Learning from a few training samples is a desirable ability of an object detector, inspiring the explorations of Few-Shot Object Detection (FSOD). Most existing approaches employ a pretrain-transfer paradigm. The model is first pre-trained on base classes with abundant data and then transferred to novel classes with a few annotated samples. Despite the substantial progress, the FSOD performance is still far behind satisfactory. During pre-training, due to the co-occurrence between base and novel classes, the model is learned to treat the co-occurred novel classes as backgrounds. During transferring, given scarce samples of novel classes, the model suffers from learning discriminative features to distinguish novel instances from backgrounds and base classes. To overcome the obstacles, we propose a novel framework, Mining Implicit Novel Instances (MINI), to mine the implicit novel instances as auxiliary training samples, which widely exist in abundant base data but are not annotated. MINI comprises an offline mining mechanism and an online mining mechanism. The offline mining mechanism leverages a self-supervised discriminative model to collaboratively mine implicit novel instances with a trained FSOD network. Taking the mined novel instances as auxiliary training samples, the online mining mechanism takes a teacher-student framework to simultaneously update the FSOD network and the mined implicit novel instances on the fly. Extensive experiments on PASCAL VOC and MS-COCO datasets show MINI achieves new state-of-the-art performance on any shot and split. The significant performance improvements demonstrate the superiority of our method.

研究の動機と目的

• 限られたNovelショットサンプルと、Novelインスタンスをバックグラウンドと分類するバイアスによって引き起こされる少サンプル物体検出器の性能低下を是正すること。
• 手動アノテーションを必要とせず、ベースクラスデータセット内に共起しているがアノテーションが付いていない暗黙的Novelインスタンスを発見・活用すること。
• マイニングされた暗黙的インスタンスを用いて訓練を豊かにすることで、Novelクラス、ベースクラス、バックグラウンド間の特徴の識別性を向上させること。
• 検出器とマイニングされたインスタンスが時間経過とともに動的に改善される自己教師ありで反復的なフレームワークを開発すること。

提案手法

• オフラインマイニング機構は、自己教師ありの判別モデル（例：MoCo v2）を用い、事前学習済みFSODモデルから候補となる暗黙的Novelインスタンスの信頼度スコアを特定・補正する。
• ハイパーパrameter α と N を用いた微分可能で適応的なしきい値戦略を導入し、信頼度が高く信頼性の高い暗黙的インスタンスをフィルタリングする。
• オンラインマイニング機構は、訓練中に検出器ネットワークとマイニングされた暗黙的インスタンスを同時に更新する教師-生徒フレームワークを採用する。
• 生徒ネットワークは、元のNovelショットデータに加え、マイニングされた暗黙的インスタンスを補助サンプルとして用いて、ボクシングボックスと分類スコアを予測するように訓練される。
• ハイパーパrameter β を用いた信頼度ベースのIoU分岐モジュールを導入し、ボクシングボックス予測を精緻化し、誤検出を低減する。
• 全パイプラインはエンドツーエンドで訓練可能であり、検出器とマイニングされたインスタンスが相互に進化・改善を繰り返すように設計されている。

実験結果

リサーチクエスチョン

• RQ1 ベースクラスデータ内に共起しているがアノテーションのない暗黙的Novelインスタンスを、少サンプル物体検出の性能向上に有効にマイニングできるか？
• RQ2 自己教師ありの判別モデルを用いたオフラインマイニングが、教師ありベースラインを上回る信頼性の高い暗黙的インスタンスを特定できるか？
• RQ3 検出器とマイニングされたインスタンスを同時に更新する教師-生徒フレームワークは、静的マイニングに比べてより優れた一般化性能を示せるか？
• RQ4 訓練データ内でNovelクラスとベースクラスが共起しない場合、本手法はどの程度のロバストネスを示すか？
• RQ5 α, N, δ, β のハイパーパラメータ設定は、さまざまな少サンプル設定で最適な性能をもたらすか？

主な発見

• MINIは、PASCAL VOCおよびMS-COCOベンチマークのすべてのショット設定において、新たなSOTA性能を達成し、AP50スコアで最大19.3ポイントの絶対的向上を記録した。
• 1ショット設定のPASCAL VOCでは、前回SOTAを18.4 AP50ポイント上回り、低ショット環境下でも顕著な向上を示した。
• Novelクラスをベースデータセットから手動で削除した状況でも、'Bird'では5.9 AP50ポイント、'Bus'では9.7 AP50ポイントの向上を達成し、共起の欠如に対してもロバストであることが示された。
• 自己教師ありの判別モデル（MoCo v2）は、教師ありでImageNetで事前学習されたResNet-50よりも、特に1〜3ショット設定で優れた性能を示した。
• アブレーションスタディの結果、δ = 0.7 および β = 0.5 が最適なパラメータ設定であることが判明。一方、δが低すぎると誤検出が増加し、性能が劣化する。
• 本手法はハイパーパラメータの変動に対してロバストであり、α と N の値が異なる場合でも性能が比較的安定しており、実用的であることが示された。