[論文レビュー] Bayesian Semantic Instance Segmentation in Open Set World

Trung Pham, Vijay Kumar B G+3 more|arXiv (Cornell University)|Jun 4, 2018

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、既知のクラスに対してのみバウンディングボックスアノテーションを用い、未知の物体も含めた既知・未知の物体をセグメンテーションするベイジアン意味的インスタンスセグメンテーション手法を提案する。境界駆動型の領域階層に基づくシミュレーテッドアニーリング最適化による画像分割サンプラーを用いたベイジアンフレームワークとして問題を定式化することで、既知クラスで競争力ある性能を達成するとともに、未知物体においても教師なし手法を上回る性能を示す。

ABSTRACT

This paper addresses the semantic instance segmentation task in the open-set conditions, where input images can contain known and unknown object classes. The training process of existing semantic instance segmentation methods requires annotation masks for all object instances, which is expensive to acquire or even infeasible in some realistic scenarios, where the number of categories may increase boundlessly. In this paper, we present a novel open-set semantic instance segmentation approach capable of segmenting all known and unknown object classes in images, based on the output of an object detector trained on known object classes. We formulate the problem using a Bayesian framework, where the posterior distribution is approximated with a simulated annealing optimization equipped with an efficient image partition sampler. We show empirically that our method is competitive with state-of-the-art supervised methods on known classes, but also performs well on unknown classes when compared with unsupervised methods.

研究の動機と目的

• 未知の物体クラスが出現する可能性があるオープンセット環境における意味的インスタンスセグメンテーションの課題に対処すること。
• 既知クラスのためのインスタンスマスクアノテーションに依存するのを減らし、既知クラスに対してはバウンディングボックス監視のみで学習可能にする。
• 局所的で一貫性のある領域をグループ化し、それらを既知の検出結果または未知の物体クラスに割り当てる、グローバルなセグメンテーションフレームワークの開発。
• 検出済みおよび検出漏れの既知の物体、ならびに未知の物体とストラクチャ（例：空、芝生）を効果的にセグメンテーションすること。

提案手法

• 画像分割の事後分布をシミュレーテッドアニーリングを用いて近似するベイジアン推論問題として定式化する。
• 深層ニューラルネットワークベースのエッジ検出から得られる境界駆動型領域階層を用いて、効率的な画像分割のサンプリングを実現する。
• 境界モデル（未知領域用）、幾何的バウンディングボックスモデル（既知の検出用）、およびオプションのマスクモデル（既知インスタンス用）の3つの競合する尤度モデルを統合する。
• 領域数の過剰を抑制し、物体のコンパクト性を促進する事前分布モデルを適用する。
• 大規模な分割空間を探索し、高品質なセグメンテーションに収束させるために、シミュレーテッドアニーリング最適化を用いる。
• サンプリング中にスプリット、マージ、またはスプリット・アンド・マージの動きを自然に行うための階層的領域選択メカニズムを採用する。

実験結果

リサーチクエスチョン

• RQ1 バウンディングボックス監視のみを用いても、ベイジアンインスタンスセグメンテーションフレームワークは、既知の物体クラスで競争力ある性能を達成できるか？
• RQ2 この手法は、これらのクラスに対して何らの監視なしに、未知の物体クラスおよびストラクチャ領域（例：芝生、空）を効果的にセグメンテーションできるか？
• RQ3 高次元の分割空間において、提案された画像分割サンプラーは、標準的なギブスサンプリングと比較して、効率性および品質の点で優れているか？
• RQ4 境界駆動型領域階層は、オープンセット環境におけるセグメンテーションの正確性と耐性をどの程度向上させるか？

主な発見

• 提案手法は、完全に教師ありのMask R-CNNと同等のmIoUスコアを、既知の物体クラスで達成している。これは、バウンディングボックスアノテーションのみで学習したにもかかわらずである。
• 本手法は、未知の物体クラスおよびストラクチャ領域（例：芝生、空）を高い正確性でセグメンテーションでき、これらのクラスにおいて既存の教師なし手法を上回っている。
• シミュレーテッドアニーリングに基づく画像分割サンプラーにより、大規模な分割空間の効率的探索が可能となり、標準的なギブスサンプリングよりも高速に高品質なセグメンテーションが得られた。
• 境界駆動型領域階層は、構造的で知覚的に意味のある領域提案を提供することで、セグメンテーションの正確性を顕著に向上させた。
• 本手法は、未学習の物体カテゴリに対しても良好に一般化でき、最先端の教師ありモデルが失敗するオープンセット環境においても耐性を示した。
• Mask R-CNNの予測結果に対してピクセル投票による後処理を実施したところ、本手法のグローバルかつピクセル単位のラベル付け戦略が、インスタンス単位のマスク出力よりも一貫性があり正確であることが確認された。