[論文レビュー] RepMet: Representative-based metric learning for classification and one-shot object detection

Leonid Karlinsky, Joseph Shtok+6 more|arXiv (Cornell University)|Jun 12, 2018

COVID-19 diagnosis using AI被引用数 39

ひとこと要約

この論文では、少数ショット分類およびオブジェクト検出のための、バックボーンネットワーク、埋め込み空間、マルチモーダルクラス代表（混合モデルのモード）を一括して最適化する新しいエンドツーエンド距離度量学習手法RepMetを提案する。ImageNet-LOCに新しいエピソードベースのベンチマークを導入し、細分化分類では最先端性能を達成し、少数ショットオブジェクト検出では新たなSOTAを樹立した。強力なベースラインを大きく上回る性能を発揮した。

ABSTRACT

Distance metric learning (DML) has been successfully applied to object classification, both in the standard regime of rich training data and in the few-shot scenario, where each category is represented by only a few examples. In this work, we propose a new method for DML that simultaneously learns the backbone network parameters, the embedding space, and the multi-modal distribution of each of the training categories in that space, in a single end-to-end training process. Our approach outperforms state-of-the-art methods for DML-based object classification on a variety of standard fine-grained datasets. Furthermore, we demonstrate the effectiveness of our approach on the problem of few-shot object detection, by incorporating the proposed DML architecture as a classification head into a standard object detection model. We achieve the best results on the ImageNet-LOC dataset compared to strong baselines, when only a few training examples are available. We also offer the community a new episodic benchmark based on the ImageNet dataset for the few-shot object detection task.

研究の動機と目的

• 分類に使用可能なトレーニング例が1カテゴリあたりわずかにしか存在しない少数ショットオブジェクト検出の課題に対処するため、ロバストで汎用性の高い検出フレームワークを設計すること。
• エンドツーエンドのアプローチで埋め込み空間とクラス代表を同時に学習することで、交互に訓練する手法の制限を回避し、少数ショット分類の性能を向上させること。
• 少数ショットオブジェクト検出のための標準化された評価を可能にするために、ImageNet-LOCに基づく新しいエピソードベースのベンチマークを導入すること。
• バックボーン、埋め込み、クラス代表の共同最適化が、背景のゴミダミングがあるオープンセット認識の状況において特に優れた一般化性能とロバスト性をもたらすかを実証すること。

提案手法

• RepMetは、埋め込み空間における各クラスを複数のモードの混合としてモデル化し、モードの中心を分類のための代表ベクトルとして使用する。
• 本手法は、バックボーンネットワーク、埋め込み空間、およびクラス代表（混合モデルのパラメータ）を1つの統合されたアーキテクチャ内でエンドツーエンドで訓練する。
• 推論時、入力特徴から各クラスの学習済み代表ベクトルまでの距離を測定することで、クラスの事後確率を計算する。
• 少数ショットオブジェクト検出では、標準的なFaster R-CNN検出器の分類ヘッドを、代表ベクトルに基づく距離スコアリングを実行する本手法のDMLサブネットに置き換える。
• 推論時に、エピソード固有のトレーニングデータ上でモデルをファインチューニングすることで、わずかな例数での新しいカテゴリへの適応が可能になる。
• エンドツーエンドのトレーニング中に背景のROIsをサンプリングすることで、分離性能を向上させ、別個の背景サンプリングの非効率性を回避する。

実験結果

リサーチクエスチョン

• RQ1 交互に訓練する手法や外部の埋め込み学習と比較して、バックボーン、埋め込み空間、クラス代表をエンドツーエンドで共同訓練することで、少数ショット分類の性能が向上するか？
• RQ2 特に背景ゴミダミングがある低ショット設定下で、提案された代表ベースの度量学習アプローチは少数ショットオブジェクト検出においてどの程度有効か？
• RQ3 埋め込みと代表の共同最適化は、ランダムまたは固定の代表を用いる場合と比較して、未学習カテゴリへの一般化性能を向上させるか？
• RQ4 ImageNet-LOCに基づく新しいエピソードベースのベンチマークは、少数ショットオブジェクト検出のための信頼性があり標準化された評価プロトコルを提供できるか？

主な発見

• RepMetは、Magnet Lossや交互訓練を用いた先行SOTA手法を上回る、複数の細分化分類ベンチマークで最先端の性能を達成した。
• ImageNet-LOCの少数ショットオブジェクト検出ベンチマークにおいて、RepMetは全テスト手法の中で最高のmAPを達成し、強力なベースラインを大きく上回った。
• アブレーションスタディの結果、外部の埋め込みを用いる「ベースライン-DML-外部」手法は、背景の排除が不十分なため高い偽陽性率を示しており、共同訓練の重要性が浮き彫りになった。
• エピソード固有のデータ上で最後の層と代表をファインチューニングすることで性能がさらに向上し、モデルの新しいカテゴリへの適応可能性を確認した。
• ランダムな代表を用いた場合でも、学習済み代表を用いた場合と比較してmAPがわずかに低下する（例：約7ポイント）にとどまり、学習済み埋め込みのロバスト性を示した。
• 1ショット検出ベンチマークでは、Recall@100が88.2%、Recall@10が65.9%を達成し、画像単位の検出信頼性が非常に高いことを示した。