[論文レビュー] Generator evaluator-selector net for panoptic image segmentation and splitting unfamiliar objects into parts

Sagi Eppel, Alán Aspuru‐Guzik|arXiv (Cornell University)|Aug 24, 2019

Industrial Vision Systems and Defect Detection被引用数 4

ひとこと要約

本稿では、パノプティック画像セグメンテーションのためのジェネレータ・エバリュエータ・セレクタネットワークを提案する。この手法は、セグメンテーションの生成と選択を分離することで、未学習のオブジェクトカテゴリのパーツレベルのセグメンテーションをクラスに依存しない形で実現する。ポ인터ネットをベースとするジェネレータと、別個のエバリュエータを用いてセグメンテーションをランク付け・選択することで、COCOパノプティックで競争力のある性能を達成し、再トレーニングなしに新しいオブジェクトクラスをパーツに分割する。

ABSTRACT

In machine learning and other fields, suggesting a good solution to a problem is usually a harder task than evaluating the quality of such a solution. This asymmetry is the basis for a large number of selection oriented methods that use a generator system to guess a set of solutions and an evaluator system to rank and select the best solutions. This work examines the use of this approach to the problem of panoptic image segmentation and class agnostic parts segmentation. The generator/evaluator approach for this case consists of two independent convolutional neural nets: a generator net that suggests variety segments corresponding to objects, stuff and parts regions in the image, and an evaluator net that chooses the best segments to be merged into the segmentation map. The result is a trial and error evolutionary approach in which a generator that guesses segments with low average accuracy, but with wide variability, can still produce good results when coupled with an accurate evaluator. The generator consists of a Pointer net that receives an image and a point in the image, and predicts the region of the segment containing the point. Generating and evaluating each segment separately is essential in this case since it demands exponentially fewer guesses compared to a system that guesses and evaluates the full segmentation map in each try. The classification of the selected segments is done by an independent region-specific classification net. This allows the segmentation to be class agnostic and hence, capable of segmenting unfamiliar categories that were not part of the training set. The method was examined on the COCO Panoptic segmentation benchmark and gave results comparable to those of the basic semantic segmentation and Mask-RCNN methods. In addition, the system was used for the task of splitting objects of unseen classes (that did not appear in the training set) into parts.

研究の動機と目的

• パノプティックセグメンテーションにおいて、未学習のオブジェクトカテゴリ、特にパーツレベルでのセグメンテーションを解決すること。
• 一度に完全なセグメンテーションマップを生成する困難さを克服するため、生成と評価を分離することで、1ステップでの正確なマップ生成を回避すること。
• クラスに依存しないセグメンテーションアプローチにより、未学習のオブジェクトカテゴリのゼロショットパーツレベルセグメンテーションを可能にすること。
• 多様なプールから高品質なセグメンテーションをエバリュエータが選択することで、セグメンテーション生成のロバスト性と多様性を向上させること。

提案手法

• ポインタネットに基づくジェネレータネットワークは、画像と点を入力とし、その点を含むセグメンテーションマスクを予測する。
• 各セグメンテーションは独立して生成・評価され、完全なマップ生成と比較して探索空間を指数関数的に削減する。
• エバリュエータネットワークは、品質に基づいて生成されたセグメンテーションをランク付けし、最終的なセグメンテーションに含める最良の候補を選択する。
• 別個の領域特化分類ネットワークにより、選択されたセグメンテーションに意味的ラベルが割り当てられ、クラスに依存しない推論が可能になる。
• 推論時に未学習のオブジェクトカテゴリのパーツを生成・評価することで、ゼロショットパーツ分割を実現する。
• 完全なセグメンテーションマップのエンドツーエンドトレーニングを避ける代わりに、エバリュエータからのフィードバックを受けて試行錯誤を繰り返す進化的な戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 ジェネレータ・エバリュエータ・セレクションフレームワークは、誘導バイアスを低減させることで、エンドツーエンドのセグメンテーションモデルを上回るパフォーマンスを達成できるか？
• RQ2 クラスに依存しないセグメンテーションシステムは、推論時に未学習のオブジェクトカテゴリにどの程度一般化できるか？
• RQ3 独立したセグメンテーション生成と評価は、セグメンテーション出力のロバスト性と多様性をどの程度向上させるか？
• RQ4 このフレームワークは、ファインチューニングなしに、新しい未学習のオブジェクトカテゴリを意味のあるパーツに効果的に分割できるか？
• RQ5 分離されたアプローチは、COCOパノプティックのような標準ベンチマークで競争力のあるパフォーマンスを維持できるか？

主な発見

• 本手法は、COCOパノプティックベンチマークで、最先端のセマンティックセグメンテーションおよびMask R-CNN手法と同等のパフォーマンスを達成した。
• システムは未学習のカテゴリからのオブジェクトを効果的にセグメンテーションおよびパーツに分割し、ゼロショット一般化の能力を示した。
• 別個のエバリュエータの使用により、低精度だが多様な予測を生成するジェネレータに対しても、高品質なセグメンテーションの選択が可能になった。
• セグメンテーションの独立的生成と評価は、完全なセグメンテーションマップ探索と比較して、必要な推測回数を顕著に削減した。
• クラスに依存しないにもかかわらず、本フレームワークは強力なパフォーマンスを維持しており、トレーニング時に見られなかったカテゴリの推論が可能になった。
• 本アプローチは、複雑なセグメンテーションタスクにおいて、進化的な試行錯誤戦略の有効性を示した。