[論文レビュー] Cooperating RPN's Improve Few-Shot Object Detection

Weilin Zhang, Yu-Xiong Wang+1 more|arXiv (Cornell University)|Nov 19, 2020

Advanced Neural Network Applications参考文献 34被引用数 17

ひとこと要約

本稿では、少数ショットオブジェクト検出における「プロポーザル無視」問題を軽減するため、複数の多様かつ協調的な領域提案ネットワーク（RPN）を訓練するアンサンブル手法、Cooperating RPNs（CoRPNs）を提案する。標準のRPNでは、1つのトレーニングサンプルしか持たないオブジェクトがしばしば見過ごされてしまうが、対象となる問題を緩和する。多様性と協調性を、対数行列式による多様性損失と協調性損失によって強制することで、CoRPNsは誤検出を顕著に低減し、最先端の性能を達成。PASCAL VOCスプリット3において1ショット学習で35.8のAP50を達成した。

ABSTRACT

Learning to detect an object in an image from very few training examples - few-shot object detection - is challenging, because the classifier that sees proposal boxes has very little training data. A particularly challenging training regime occurs when there are one or two training examples. In this case, if the region proposal network (RPN) misses even one high intersection-over-union (IOU) training box, the classifier's model of how object appearance varies can be severely impacted. We use multiple distinct yet cooperating RPN's. Our RPN's are trained to be different, but not too different; doing so yields significant performance improvements over state of the art for COCO and PASCAL VOC in the very few-shot setting. This effect appears to be independent of the choice of classifier or dataset.

研究の動機と目的

• 希少なカテゴリの高IoUプロポーザルが欠落することで生じる少数ショットオブジェクト検出における性能低下を是正すること。
• 限られたトレーニングデータのため、1つのRPNが新規クラスの高IoUボックスを報告できない「プロポーザル無視」効果を同定し、緩和すること。
• 少数ショット例におけるプロポーザルカバレッジを最大化するとともに、誤検出を最小限に抑えるRPNアンサンブルを設計すること。
• 分類器を変更せずに、プロポーザルカバレッジの向上のみで、少数ショット検出における性能向上が顕著に達成できることを示すこと。
• 提案手法が異なるデータセットおよび分類器アーキテクチャに一般化できることを示すこと。

提案手法

• 共有バックボーンを用いた共有フレームワーク内で複数のRPNを訓練し、RPN特徴マップ間の相関行列の対数行列式に基づく多様性損失を適用する。
• 同じ画像領域における高IoUプロポーザルをRPN同士が一致させることを促進する協調性損失を導入し、重複を減らしながらカバレッジを維持する。
• ハイパーパrameter φ を用いてしきい値を設定した協調性損失を採用し、プロポーザルカバレッジと誤検出率のトレードオフを制御する。
• トレーニング中にRPNアンサンブルを適用し、分類器のためのプロポーザルを生成。分類器は、すべてのRPNからの組み合わせプロポーザルでファインチューニングする。
• 推論時にはRPNを固定し、非最大抑制（NMS）を用いて最終的な検出結果を精緻化する。
• 分類、局所化に加え、多様性損失と協調性損失を組み合わせたマルチタスク損失を最適化することでアンサンブルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 1〜2つのトレーニング例しか利用できない状況で、「プロポーザル無視」効果が少数ショットオブジェクト検出の性能を顕著に低下させるか？
• RQ2 制御された多様性と協調性を有する複数のRPNをトレーニングすることで、希少オブジェクトカテゴリのプロポーザルカバレッジが向上するか？
• RQ3 提案された多様性と協調性損失機構は、単純なRPNアンサンブルや従来の多様性手法と比較して、誤検出の低減においてどのように優れているか？
• RQ4 少数ショット検出において、カバレッジと誤検出率のバランスを最適化するためのRPNの最適数は何か？
• RQ5 CoRPNsによる性能向上は、異なるデータセットおよび分類器アーキテクチャにわたり持続的か？

主な発見

• PASCAL VOCスプリット3において1ショット学習で、CoRPNsは35.8の新規クラスAP50を達成。これは、以前の最先端手法（TFA）の28.9を顕著に上回る。
• 協調性損失により、誤検出の平均数がTFAの3.1からCoRPNs（φ = 0.9）の0.8に低下し、より良いプロポーザルカバレッジが実現された。
• NMS後の前景サンプルの平均数がTFAの18.6からCoRPNs（φ = 0.1）の22.3に増加し、検出の信頼性が向上した。
• 2つのRPNを用いた本手法（35.8 AP50）は、5つのRPNを単純にアンサンブルした場合（34.8 AP50）を上回り、制御された協調性の有効性を示した。
• 対数行列式による多様性損失は、ペアワイズコサイン類似度に基づく多様性（35.8 vs. 32.4 AP50）を上回り、有用な多様性を促進する優位性を証明した。
• 最適なRPN数はデータセットスプリットによって異なるが、2〜4つのRPNで性能がピークに達し、その後誤検出の増加により低下した。