[論文レビュー] One-Shot Instance Segmentation

Claudio Michaelis, Ivan Ustyuzhaninov+2 more|arXiv (Cornell University)|Nov 28, 2018

Advanced Neural Network Applications参考文献 99被引用数 68

ひとこと要約

この論文は Siamese Mask R-CNN を導入し、単一の参照画像をテストシーンに照合することでワンショットのインスタンスセグメンテーションを実現し、再訓練なしに新規カテゴリの検出とセグメンテーションを可能にします。MS-COCO でベースラインを確立し、参照カテゴリへ検出を向ける課題とセグメンテーションがより信頼性が高いという分析を行います。

ABSTRACT

We tackle the problem of one-shot instance segmentation: Given an example image of a novel, previously unknown object category, find and segment all objects of this category within a complex scene. To address this challenging new task, we propose Siamese Mask R-CNN. It extends Mask R-CNN by a Siamese backbone encoding both reference image and scene, allowing it to target detection and segmentation towards the reference category. We demonstrate empirical results on MS Coco highlighting challenges of the one-shot setting: while transferring knowledge about instance segmentation to novel object categories works very well, targeting the detection network towards the reference category appears to be more difficult. Our work provides a first strong baseline for one-shot instance segmentation and will hopefully inspire further research into more powerful and flexible scene analysis algorithms. Code is available at: https://github.com/bethgelab/siamese-mask-rcnn

研究の動機と目的

• ワンショットインスタンスセグメンテーションタスクを定義し、現実世界のシーン理解における実用的関連性を動機づける。
• ただ一つの参照画像だけが与えられた場合に新規オブジェクトカテゴリを検出しセグメント化できるモデルを開発する。
• 四つの train/test 分割で MS-COCO を用いて、トレーニングに近いカテゴリと新規カテゴリの比較で強力なベースラインを確立する。

提案手法

• 参照画像とクエリ画像の両方をエンコードするために、Siamese バックボーンと Mask R-CNN を統合し、共有特徴空間を作る。
• 参照特徴を平均化し、シーン特徴との絶対差を取り、これをシーン特徴に連結し、1x1 畳み込みを適用してタスクに関連する特徴を生成することで類似度ベースのマッチングを計算する。
• Mask R-CNN の 80-way 分類を、バイナリのマッチ/ノーマッチ決定に置き換え、単一のクラス非依存のバウンディングボックスとマスクヘッドを使用する。
• MS-COCO 上でエピソディックに訓練し、バックボーンを分離した ImageNet サブセットで事前訓練し、4つの train/test 分割で確率的な参照選択を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 複雑なシーンで新規カテゴリの検出とセグメンテーションを実現するメトリクス学習ベースのアプローチは可能か？
• RQ2 Mask R-CNN の Siamese 拡張は、訓練時に見たカテゴリと比較して未見カテゴリへどの程度転移するか？
• RQ3 ワンショットインスタンスセグメンテーションにおいて、参照カテゴリに検出を指向させる際の主なボトルネックは何か？
• RQ4 参照数（ショット）の増減は新規カテゴリの性能にどのような影響を与えるか？
• RQ5 シーンの混雑度はワンショットインスタンスセグメンテーションの性能にどのような影響を与えるか？

主な発見

• 1つの参照でのワンショット物体検出は訓練カテゴリでの mAP50 が 37.6%、インスタンスセグメンテーションの mAP50 は 34.9% を達成。5つの参照を使用すると、それぞれ 41.3% と 38.4% に改善。
• 訓練中に見られていない新規カテゴリでは、ワンショット mAP50 は検出で 16.3%、セグメンテーションで 14.5%；5ショットでそれぞれ 18.5%、16.7% に改善。
• モデルは境界ボックスとマスクの品質が高い一方、正しい参照カテゴリを一貫してターゲットにすることに苦戦し、訓練カテゴリへの過剰適合を示唆。
• ばらつきが多く、シーンが cluttered でインスタンスが多いと性能が低下する、混雑環境での頑健性が課題。
• このアプローチはワンショットインスタンスセグメンテーションの堅実なベースラインを提供し、再訓練なしで未見カテゴリへ一般化を示す。