[論文レビュー] Cityscapes-Panoptic-Parts and PASCAL-Panoptic-Parts datasets for Scene Understanding

Panagiotis Meletis, Xiaoxiao Wen+3 more|arXiv (Cornell University)|Apr 16, 2020

Image Retrieval and Classification Techniques被引用数 4

ひとこと要約

本稿では、都市環境および日常的なシーンにおける高度なシーン理解を目的として、23および193のパーツクラスを対象に階層的なパーツレベルのアノテーションを追加した、新しいデータセットであるCityscapes-Panoptic-PartsとPASCAL-Panoptic-Partsを紹介する。これらのデータセットは、既存のパノプティックフォーマットと互換性のあるコンactな階層的ラベル形式を採用しており、最小限のアノテーションコストで複数レベルのシーン理解を可能にする。また、処理および可視化用のコードとともに公開されている。

ABSTRACT

In this technical report, we present two novel datasets for image scene understanding. Both datasets have annotations compatible with panoptic segmentation and additionally they have part-level labels for selected semantic classes. This report describes the format of the two datasets, the annotation protocols, the merging strategies, and presents the datasets statistics. The datasets labels together with code for processing and visualization will be published at https://github.com/tue-mps/panoptic_parts.

研究の動機と目的

• シーン理解のための一貫性のある多段階アノテーションの不足に対処し、統一された意味的、インスタンス的、パーツレベルのラベルを備えたデータセットを構築すること。
• 同一のラベル階層上で、包括的（パノプティックセグメンテーション）および詳細的（パーツレベルセグメンテーション、オブジェクト検出）な画像理解タスクを同時に実行可能な、矛盾のないデータセットを提供すること。
• 構造化されたマージおよびラベリングプロトコルを用いることで、高品質で一貫性のあるパーツレベルラベルを維持しながら、アノテーション負荷を低減すること。
• 意味的、インスタンス的、パーツレベルのラベリングを1つのコンactなIDエンコーディングでサポートする、標準的で拡張可能な階層的ラベルフォーマットを提供すること。

提案手法

• CityscapesおよびPASCAL-Contextデータセットを拡張し、23のパーツクラス（Cityscapes）および193のパーツクラス（PASCAL）を対象に、手動によるパーツレベルアノテーションを追加。主に「もの」クラス（例：人、車）に焦点を当てる。
• 7桁の整数IDを用いた階層的ラベルフォーマットを考案：最初の2桁が意味的クラス、次の3桁がインスタンスID（ゼロパディング）、最後の2桁がパーツクラスID（ゼロパディング）。これにより、コンパクトで曖昧さのないエンコードが可能。
• 元のCityscapesパノプティックラベルを保持しつつ、新しいパーツレベルアノテーションを統合するマージ戦略を適用。これにより、1画像あたりの平均アノテーション時間が7分にまで短縮された。
• 各レベルで「ボイドクラス」の慣習を採用：意味的レベルではid=0（PASCAL）、インスタンスごとのパーツレベルではid=000を用い、未ラベルのパーツを示す。これにより、不要なボイドピxlsを削減。
• 階層的ラベルエンコード式を実装：id = semantic_id * 10^5 + instance_id * 10^2 + part_id。これにより、後方互換性と拡張性が保証される。
• データセットおよび関連コードをgithub.com/tue-mps/panoptic_partsに公開し、再現性およびコミュニティ利用を促進。

実験結果

リサーチクエスチョン

• RQ1 同一の画像セット上で、パノプティックセグメンテーションとパーツレベルセグメンテーションを同時にサポートする、統一的かつ矛盾のないデータセットを構築できるか？
• RQ2 既存のパノプティックデータセットにパーツレベルアノテーションを効率的に統合する方法は何か？ これにより、元のラベルが破壊されず、かつアノテーション時間が増加しないようにできるか？
• RQ3 意味的、インスタンス的、パーツレベルのラベリングを、コンパクトで拡張可能かつ後方互換性のある方法でサポートする最適な階層的ラベルフォーマットは何か？
• RQ4 パーツレベルアノテーションの導入が、複雑な都市的および日常的なシーンにおけるオブジェクト理解の分布と粒度に与える影響は何か？
• RQ5 パーツレベルアノテーションは、インスタンス単位のオブジェクト解析や細分化されたシーン理解といった、下流タスクにどのような影響を与えるか？

主な発見

• Cityscapes-Panoptic-Partsは、元のCityscapesデータセットに、8つの「もの」クラスを対象に23のパーツクラスのパーツレベルアノテーションを追加。学習用に2975枚、検証用に500枚の画像を含む。
• PASCAL-Panoptic-Partsは、PASCAL-PartsとPASCAL-Contextを統合し、100の「もの」クラス、20の「もの」クラス、193のパーツクラスを備えた統一データセットを構築。学習用に4998枚、検証用に5105枚の画像を含む。
• 構造化されたマージおよびラベリングプロトコルを用いることで、パーツレベルラベリングの1画像あたりの平均アノテーション時間が7分にまで短縮された。
• 階層的ラベルフォーマットにより、意味的、インスタンス的、パーツレベルのラベルを1つの7桁の整数IDにコンパクトかつ曖昧さのない形でエンコード可能であり、将来的な拡張も可能。
• データセットおよび処理、可視化、評価用の完全なコードが公開されており、再現性とコミュニティの採用を確保。
• パーツレベルアノテーションは「もの」クラスに限定されているが、将来的に「ものでない」クラスへの拡張も想定したフレームワークが設計されている。