[論文レビュー] InstanceCut: from Edges to Instances with MultiCut

Alexander Kirillov, Evgeny Levinkov+3 more|arXiv (Cornell University)|Nov 24, 2016

Advanced Neural Network Applications参考文献 48被引用数 23

ひとこと要約

InstanceCutは、CNNからのインスタンスに依存しないセマンティックセグメンテーションと、マルチカット最適化によるインスタンスに依存するエッジ検出を組み合わせる、新しいインスタンス認識セマンティックセグメンテーションフレームワークを提案する。そのシンプルさにもかかわらず、CityScapesデータセットにおいて、検証セットで15.8 AP、テストセットで13.0 APを達成し、発表済みのすべての手法を上回る最先端の性能を発揮する。

ABSTRACT

This work addresses the task of instance-aware semantic segmentation. Our key motivation is to design a simple method with a new modelling-paradigm, which therefore has a different trade-off between advantages and disadvantages compared to known approaches. Our approach, we term InstanceCut, represents the problem by two output modalities: (i) an instance-agnostic semantic segmentation and (ii) all instance-boundaries. The former is computed from a standard convolutional neural network for semantic segmentation, and the latter is derived from a new instance-aware edge detection model. To reason globally about the optimal partitioning of an image into instances, we combine these two modalities into a novel MultiCut formulation. We evaluate our approach on the challenging CityScapes dataset. Despite the conceptual simplicity of our approach, we achieve the best result among all published methods, and perform particularly well for rare object classes.

研究の動機と目的

• 既存のCNNベースのインスタンスセグメンテーション手法の限界を克服するため、新たなモデリングパラダイムを提案すること。
• 固有のインスタンスラベルや複雑なマルチロスアーキテクチャを必要とせずに、正確なインスタンスセグメンテーションを可能にすること。
• インスタンス境界検出とグローバルなインスタンスラベル付けを分離することで、レアオブジェクトクラスの処理を効果的に行うこと。
• 任意の事前学習済みセマンティックセグメンテーションネットワークと互換性があるモジュラーなフレームワークを設計すること。
• 新しいマルチカット定式化を用いて、インスタンス境界とセマンティックラベルのグローバルな推論により、高い性能を達成すること。

提案手法

• 本手法は、ピクセルごとの対数確率を出力する標準的な完全畳み込みネットワーク（FCN）を用いて、インスタンスに依存しないセマンティックセグメンテーションを実行する。
• 別個のCNNを訓練し、隣接ピクセル間のインスタンスに依存するエッジ確率を予測することで、潜在的なインスタンス境界を特定する。
• 得られた2つの出力（セマンティックラベルと境界スコア）を統合し、グローバルに一貫性のあるインスタンスパーティションを最適化する新しいマルチカット定式化を構築する。
• マルチカット定式化により、検出された境界で囲まれた連結成分が、内部に一貫性のあるセマンティッククラスラベルを持つ単一のインスタンスに対応するように保証される。
• パラメータ化されたコスト関数を用い、2種類の境界重み（β_small と β_big）を導入する。β_small は小規模なオブジェクト、β_big は大型のオブジェクト（例：トラック、バス）に使用され、交差検証により調整される。
• 最終的なインスタンスセグメンテーションは、マルチカット問題を解くことで得られ、検出された境界とセマンティックラベルによって定義された連結成分に画像を分割する。

実験結果

リサーチクエスチョン

• RQ1 セマンティックセグメンテーションとエッジ検出を組み合わせたシンプルでモジュラーなフレームワークは、複雑なCNNベースのインスタンスセグメンテーションアーキテクチャを上回ることができるか？
• RQ2 マルチカットによるグローバル最適化は、個々のインスタンスラベルなしで、一貫性があり連結されたインスタンスセグメントを効果的に生成できるか？
• RQ3 インスタンス境界検出とグローバルなインスタンスラベル付けを分離することで、稀なオブジェクトクラスの性能が向上するか？
• RQ4 再訓練なしで、さまざまなセマンティックセグメンテーションネットワークに一般化可能か？
• RQ5 提案されたマルチカット定式化は、エンドツーエンドのディーブラーニングアプローチと比較して、精度とロバスト性において優れているか？

主な発見

• LRR-4xセマンティックセグメンテーションネットワークを用いた場合、InstanceCutはCityScapesの検証セットで15.8 APを達成し、発表済みのすべての手法を上回る。
• テストセットでは、13.0 AP、27.9 AP50%、22.1 AP100m、26.1 AP50mを達成し、発表済みの結果の中で最高の数値を記録した。
• インスタンス境界とセマンティックラベルのトレーニングを分離しているため、特に稀なオブジェクトクラスに対して優れた性能を発揮する。
• 2クラスの境界重みスキーム（β_small と β_big）の導入により、性能が向上し、パラメータ空間が3次元に削減された。
• フレームワークはモジュラーであり、任意の事前学習済みセマンティックセグメンテーションネットワークと互換性があることが実証された。Dilation10からLRR-4xに切り替えた際の性能向上がその例である。
• 定性的な結果から、街灯の障害物がある場合でも、同じクラス（例：車、バス）の複数のインスタンスが正しくセグメンテーションされていることが確認された。