[論文レビュー] PartImageNet++ Dataset: Enhancing Visual Models with High-Quality Part Annotations

Xiao Li, Zilong Liu+5 more|arXiv (Cornell University)|Jan 4, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

PIN++を100K画像に rich part segmentation を付与して導入し、Pseudo labels を用いて頑健性を向上させる Part-supervised 認識モデルである MPM を提示。セグメンテーションのベンチマークとfew-shotタスクを含む。

ABSTRACT

To address the scarcity of high-quality part annotations in existing datasets, we introduce PartImageNet++ (PIN++), a dataset that provides detailed part annotations for all categories in ImageNet-1K. With 100 annotated images per category, totaling 100K images, PIN++ represents the most comprehensive dataset covering a diverse range of object categories. Leveraging PIN++, we propose a Multi-scale Part-supervised recognition Model (MPM) for robust classification on ImageNet-1K. We first trained a part segmentation network using PIN++ and used it to generate pseudo part labels for the remaining unannotated images. MPM then integrated a conventional recognition architecture with auxiliary bypass layers, jointly supervised by both pseudo part labels and the original part annotations. Furthermore, we conducted extensive experiments on PIN++, including part segmentation, object segmentation, and few-shot learning, exploring various ways to leverage part annotations in downstream tasks. Experimental results demonstrated that our approach not only enhanced part-based models for robust object recognition but also established strong baselines for multiple downstream tasks, highlighting the potential of part annotations in improving model performance. The dataset and the code are available at https://github.com/LixiaoTHU/PartImageNetPP.

研究の動機と目的

• 広範な物体カテゴリに対する高品質なパーツ注釈の不足を解消するため、1,000カテゴリ各100画像（計100K画像）で PIN++ を作成する。
• パーツ注釈を活用したパーツ意識学習フレームワークを通じて、頑健な物体認識と下流タスクを実現する。
• 追加の推論コストをかけずにパーツ監視を拡張するため、未注釈の IN-1K 画像に対して擬似パーツラベリングを開発する。
• 標準分類器へ軽量なバイパス層を注入してパーツ監視を行う Multi-scale Part-supervised Recognition Model (MPM) を提案する。
• PIN++ をパーツセグメンテーション、オブジェクトセグメンテーション、few-shot 学習でベンチマークし、ベースラインを確立しパーツ情報の利点を分析する。

提案手法

• IN-1K カテゴリごとにランダムに選択した各100画像を Wikidata のパーツ語彙とボランティアの協力で注釈付けし、対象全体のオブジェクトを網羅し、該当する場合にはパーツマスクを非重複にする品質管理を行う。
• 1,000カテゴリで3,310のパーツカテゴリと406.4Kのパーツマスクを提供し、パーツ階層を捉える包含関係を含める。
• PIN++ 上でのパーツセグメンテーションモデル（Mask R-CNN with Swin-B backbone）を訓練し、残りのIN-1K トレーニング画像の擬似パーツラベルを生成する。
• PIN++ の擬似パーツラベルと注釈を、パーツ監視を目的とした軽量のバイパス層を中間特徴量に接続する Multi-scale Part-supervised Recognition Model (MPM) を用いて統合し、推論の複雑さを増やさずに行う。
• 擬似ラベル後処理時には複数解像度の特徴マップを監督するため、マスクとカテゴリラベルを組み合わせた複合データ表現を用い、補助的なバイパスと単純なカテゴリフィルタを介して（最後の3つのバックボーンステージ）を監督する。
• L = L_cls + lambda * L_seg という組合せ損失で訓練し、L_seg は複数解像度のセグメンション損失を平均化、AutoAttack による l_infty、l1、l2 の脅威下での頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ImageNet-1K カテゴリ全体での高品質パーツ注釈が視覚モデルの頑健性と精度にどのような影響を与えるか？
• RQ2 PIN++ で訓練されたセグメンテーションモデルから生成された擬似パーツラベルは、ImageNet-1K の全トレーニングセットへパーツ監視を効果的にスケールさせられるか？
• RQ3 Multi-scale Part-supervised Recognition Model (MPM) は推論コストを増やさずに対 adversarial の頑健性と精度を改善するか？
• RQ4 パーツ意識の監督が下流タスク（パーツセグメンテーション、オブジェクトセグメンテーション、few-shot 学習）に与える利点は何か？
• RQ5 PIN++ は既存のパーツデータセット（Cityscapes-PP、Pascal-Part、ADE20K、PACO、PIN）と比較して、カバー範囲、品質、注釈密度の面でどうか？

主な発見

• PIN++ は100K画像、3,310のパーツカテゴリ、406.4Kのパーツマスクを提供し、多様なオブジェクトタイプを網羅し高い注釈密度を達成している。
• パーツ監視のための軽量バイパス層を用いるMPM は、AutoAttack設定下で IN-1K の標準ベースラインより対 adversarial の頑健性とクリーン精度を改善する。
• PIN++で訓練されたセグメンテータから生成した擬似パーツラベルを用いることで、MPM は推論時のパラメータや計算負荷を追加せずに頑健な性能向上を達成する。
• PIN++ は密な予測タスク（パーツセグメンテーションとオブジェクトセグメンテーション）および few-shot 学習のベンチマークを可能にし、PIN と比較して注釈の品質と一貫性が優れている。
• 先行データセット（Cityscapes-PP, Pascal-Part, ADE20K, PACO, PIN）と比較して、PIN++ はより広いオブジェクトカテゴリをカバーし、より細かなパーツセグメンテーションを提供し、画像ごとに1つの foreground を含むカテゴリバランスの設定を持つ。
• 視覚的分析では、PIN++ での監督型訓練が、SAM や VLPart のようなオープンボキャブラリまたはエッジベースのセグメンテーションモデルよりもパーツセグメンテーションの意味的表現を向上させることを示している。