[論文レビュー] Class-independent sequential full image segmentation, using a convolutional net that finds a segment within an attention region, given a pointer pixel within this segmen t

Sagi Eppel|arXiv (Cornell University)|Jan 1, 2019

Advanced Neural Network Applications参考文献 4被引用数 2

ひとこと要約

この論文では、ポインター画素とオプションの領域のうちの興味（RoI）マスクを入力として、セグメンテーションマスクを予測する完全畳み込みネットワーク（FCN）を用いた、カテゴリに依存しない順次的でフル画像セグメンテーション手法を提案する。モデルは、COCOパノプティックデータセットの熟知されたカテゴリで67%のIoUを達成し、未学習のカテゴリでは53%のIoUを達成し、カテゴリ固有の学習を必要とせずに「もの」と「素材」の両方のゼロショットセグメンテーションを実現する。

ABSTRACT

This work examines the use of a fully convolutional net (FCN) to find an image segment, given a pixel within this segment region. The net receives an image, a point in the image and a region of interest (RoI ) mask. The net output is a binary mask of the segment in which the point is located. The region where the segment can be found is contained within the input RoI mask. Full image segmentation can be achieved by running this net sequentially, region-by-region on the image, and stitching the output segments into a single segmentation map. This simple method addresses two major challenges of image segmentation: 1) Segmentation of unknown categories that were not included in the training set. 2) Segmentation of both individual object instances (things) and non-objects (stuff), such as sky and vegetation. Hence, if the pointer pixel is located within a person in a group, the net will output a mask that covers that individual person; if the pointer point is located within the sky region, the net returns the region of the sky in the image. This is true even if no example for sky or person appeared in the training set. The net was tested and trained on the COCO panoptic dataset and achieved 67% IOU for segmentation of familiar classes (that were part of the net training set) and 53% IOU for segmentation of unfamiliar classes (that were not included in the training).

研究の動機と目的

• トレーニング中に観測されなかった未知のオブジェクトカテゴリのセグメンテーションに取り組むこと。
• 1つのカテゴリに依存しないフレームワークでインスタンスセグメンテーションとスタッフセグメンテーションを統合すること。
• ポインターに基づくネットワークを用いた、領域ごとの逐次的推論によりフル画像セグメンテーションを実現すること。
• アノテーション済みカテゴリに依存するのを減らし、一般化されたセグメンテーションパターンを学習すること。
• ゼロショット設定下で、熟知されたクラスと未知のクラスの両方の性能を評価すること。

提案手法

• 完全畳み込みネットワーク（FCN）を、画像、そのセグメント内のポインター画素、およびオプションのRoIマスクを入力として、1つのセグメントのバイナリマスクを予測するように学習する。
• RoIマスクは、セグメントの探索空間を制限し、局所化の正確性を向上させる。
• ネットワークは、COCOパノプティックデータセットの多様なセグメントをカテゴリラベルなしで学習し、カテゴリに依存しないセグメンテーションパターンを学習する。
• フル画像セグメンテーションは、繰り返しネットワークを適用することで達成される：現在のRoI内でランダムにポインターを選択し、セグメントを予測し、それをRoIから除去し、95％以上のカバレッジに達するまで繰り返す。
• 予測されたセグメントマスクは、最終的なセグメンテーションマップにステッチアップされる。
• この手法はカテゴリ固有の監視を一切必要とせず、空間的コンテキストとピクセルレベルの手がかりにのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 カテゴリに依存しないFCNは、未学習のカテゴリに対しても、1つのポインター画素のみを入力として、任意の画像領域をセグメンテーションできるか？
• RQ2 RoIマスクは、セグメンテーションの正確性と局所化にどの程度効果的か？
• RQ3 ポインターに基づくネットワークを逐次的に適用することで、高精度なフル画像セグメンテーションを達成できるか？
• RQ4 ゼロショットセグメンテーションにおける、熟知されたクラスと未知のクラスの間の性能差は何か？
• RQ5 この手法は、「もの」（例：人、動物）と「素材」（例：空、芝生）の両方を、統一的な方法でどのように処理するか？

主な発見

• モデルは、COCOパノプティックデータセットの熟知されたクラスで平均67%のIoUを達成し、既知のカテゴリに対して優れた性能を示した。
• トレーニングデータに含まれない未熟知のクラスでは平均53%のIoUを達成し、効果的なゼロショットセグメンテーションを実証した。
• RoIマスクの導入により、わずかだが測定可能な改善が得られ、フル画像セグメンテーションにおける平均IoUが59%から61%に上昇した。
• 主な誤差要因は、キーボードのような細かい構造を持つ小さなセグメントや部分であり、これにより部分的な詳細のセグメンテーションに限界があることが示された。
• 逐次的な領域ごとのアプローチにより、95％以上のカバレッジを達成するフル画像セグメンテーションが成功裏に実現され、この手法のスケーラビリティが検証された。
• この手法は、カテゴリ固有の学習を必要とせず、個々のオブジェクトインスタンス（「もの」）と非オブジェクト領域（「素材」）の両方を正しくセグメンテーションした。