[論文レビュー] Semantic Instance Segmentation via Deep Metric Learning

Alireza Fathi, Zbigniew Wojna+5 more|arXiv (Cornell University)|Mar 30, 2017

Advanced Neural Network Applications参考文献 25被引用数 211

ひとこと要約

本論文はピクセルレベルの埋め込み空間を学習し、二つのピクセルが同じオブジェクトに属するかを測定し、シードベースのマスク生成を用いてインスタンスセグメンテーションを行い、Pascal VOC 2012 で競争力のある mAP を達成する。

ABSTRACT

We propose a new method for semantic instance segmentation, by first computing how likely two pixels are to belong to the same object, and then by grouping similar pixels together. Our similarity metric is based on a deep, fully convolutional embedding model. Our grouping method is based on selecting all points that are sufficiently similar to a set of "seed points", chosen from a deep, fully convolutional scoring model. We show competitive results on the Pascal VOC instance segmentation benchmark.

研究の動機と目的

• 同じクラスの異なるインスタンスを区別することにより、境界ボックスを超えた意味的インスタンスセグメンテーションの動機づけ。
• ピクセル単位の類似性を符号化して物体レベルのグルーピングを可能にする深い埋め込みモデルを提案する。
• 学習されたシード性スコアに導かれたシードベースのマスク成長機構を導入する。
• 共有CNNバックボーン上で埋め込みとシード性/分類ヘッドを共同訓練する。

提案手法

• 同一インスタンスのピクセルを近く、異なるインスタンスのピクセルを離すように64次元のピクセル埋め込みを学習する。
• ピクセル類似性を sigma(p,q)=2/(1+exp(||e_p-e_q||^2)) と定義し、ペア対のクロスエントロピー損失で訓練する。
• シードを選択して、sigma(p,q)が閾値tauを超えるすべてのピクセルへ展開することでオブジェクトマスクを成長させる。
• 高品質なシードを選択するためのシード性ヒートマップを計算し、最大多様性基準を用いて空間的多様性を促進する。
• 各マスクにクラスラベルと信頼度を付与するため、シードごとの分類ヘッドをIoUベースのガイダンスで訓練する。
• マルチスケールの画像ピラミッドを用いた共有のDeepLab v2 バックボーンを使用し、埋め込みとシード性/分類ヘッドを学習率を制御して共同訓練する。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込みフレームワークにおいて、ピクセルレベルの埋め込み空間はクラスを越えて物体インスタンスを効果的に区別できるか。
• RQ2 網羅的なピクセル単位のグルーピングを要さず、高品質なインスタンスマスクを効率的に生成するためにシード点をどのように選択すべきか。
• RQ3 シード性ベースのシード選択とマルチ閾値マスキングがセグメンテーション精度に与える影響は何か。
• RQ4 ボックスフリーでシード主導のアプローチは、標準ベンチマークで提案ベースのインスタンスセグメンテーション手法と競合できるか。

主な発見

• IoU 0.5 で Pascal VOC 2012 バリデーションで mAP^r が 62.21% を達成し、提案ありの VOC 評価法の中で 4 位にランク付け。
• クラス別結果は大きな物体（列車、犬、オートバイ）で高い性能を示す一方、データセットの注釈品質の差により自転車では弱い。
• トップ100のシードを用いたシードベースのマスキングは、オブジェクト提案を必要とせずに良好なカバー率とリコールを提供。
• より高い IoU 閾値での性能が良く、IoU 0.6 で 2 位、IoU 0.7 で 3 位と同率。
• 埋め込み次元が64、シードベースのサンプリングパラメータ α が約0.3 の場合、検証セットで強い mAP^r を示す。