[論文レビュー] Beyond Max-Margin: Class Margin Equilibrium for Few-shot Object Detection

Bohao Li, Boyu Yang+4 more|arXiv (Cornell University)|Mar 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 9

ひとこと要約

本稿では、特徴表現と分類の両者の矛盾を解消するため、最大マージンと最小マージンの目的をバランスさせる新しい少数ショット物体検出手法であるクラスマージンアンバランス（CME）を提案する。CMEは分離された分類ヘッド、ベース学習時のクラスマージン損失、微調整時の敵対的特徴攪乱を用い、マージンアンバランスを達成し、Pascal VOCおよびMS-COCOデータセットにおいて、最先端手法を最大5%上回る検出精度を著しく向上させる。

ABSTRACT

Few-shot object detection has made substantial progressby representing novel class objects using the feature representation learned upon a set of base class objects. However,an implicit contradiction between novel class classification and representation is unfortunately ignored. On the one hand, to achieve accurate novel class classification, the distributions of either two base classes must be far away fromeach other (max-margin). On the other hand, to precisely represent novel classes, the distributions of base classes should be close to each other to reduce the intra-class distance of novel classes (min-margin). In this paper, we propose a class margin equilibrium (CME) approach, with the aim to optimize both feature space partition and novel class reconstruction in a systematic way. CME first converts the few-shot detection problem to the few-shot classification problem by using a fully connected layer to decouple localization features. CME then reserves adequate margin space for novel classes by introducing simple-yet-effective class margin loss during feature learning. Finally, CME pursues margin equilibrium by disturbing the features of novel class instances in an adversarial min-max fashion. Experiments on Pascal VOC and MS-COCO datasets show that CME significantly improves upon two baseline detectors (up to $3\sim 5\%$ in average), achieving state-of-the-art performance. Code is available at https://github.com/Bohao-Lee/CME .

研究の動機と目的

• 少数ショット物体検出における暗黙の矛盾、すなわち分類のための最大マージンと表現のための最小マージンの間で生じる対立を解消すること。
• 統一されたフレームワーク内で特徴空間の分割と新規クラスの再構築を最適化すること。
• 新規クラスのクラス間分離性とクラス内密着性のトレードオフをバランスさせることで、マージンアンバランスを達成すること。
• プラグアンドプレイモジュールとして、ワンステージおよびツーフェーズ検出器の両方で少数ショット検出性能を向上させること。

提案手法

• 局所化特徴と分類特徴を完全結合層を用いて分離することで、局所化バイアスがマージンを歪めるのを防ぐ。
• ベース学習中に、ベースクラスの特徴間の距離を最大化するクラスマージン損失を適用し、新規クラスのためのマージン空間を保持する。
• 微調整段階で、特徴攪乱モジュールを導入し、新規クラス特徴における敵対的摂動を模倣するように勾配マップを切断する。
• 攪乱プロセスはミニマックスの最適化により最適化され、マージンの堅牢性とアンバランスの両立を促進する。
• 本手法は既存の検出器にプラグインとして適用可能であり、ワンステージおよびツーフェーズアーキテクチャの両方を強化する。

実験結果

リサーチクエスチョン

• RQ1 少数ショット物体検出において、クラス間分離（最大マージン）とクラス内密着性（最小マージン）という対立する目的をどのようにバランスさせられるか？
• RQ2 敵対的特徴正則化は、新規クラスの表現と分類性能の両方を同時に向上させることができるか？
• RQ3 ベース学習段階でマージン空間を保持することで、新規クラスへの一般化性能が向上するか？
• RQ4 マージンアンバランスは、従来の最大マージンまたは最小マージンアプローチを上回る少数ショット検出性能をどの程度向上させ得るか？

主な発見

• Pascal VOCにおいて、1ショットから5ショットの設定でベースライン検出器に対して平均3.8%の向上を達成し、5ショット検出では最大9.8%の向上を示した。
• MS-COCOにおいて、CMEはSOTAベースラインMPSRと比較して、10ショットでAPを5.3%向上、30ショットで2.8%向上した。
• MetaDet、Meta R-CNN、およびビジョン推定法を含む、複数の最先端手法を、さまざまな少数ショット設定で上回った。
• CMEはワンステージおよびツーフェーズ検出器の両方で一貫した向上を示し、プラグアンドプレイモジュールとしての汎用性を裏付けた。
• アブレーションスタディにより、クラスマージン損失と特徴攪乱モジュールの両方がマージンアンバランスと性能向上を達成するために不可欠であることが確認された。