[論文レビュー] Learning Hierarchical Orthogonal Prototypes for Generalized Few-Shot 3D Point Cloud Segmentation

Yifei Zhao, Fanyu Zhao+4 more|arXiv (Cornell University)|Mar 20, 2026

3D Shape Modeling and Analysis被引用数 0

ひとこと要約

HOP3Dは勾配空間とプロトタイプ空間の直交性をエントロピーベースの正規化で強化し、基底クラスと新規クラス間の干渉を緩和しつつ新規クラスの性能を向上させ、基底クラスの精度を維持する。

ABSTRACT

Generalized few-shot 3D point cloud segmentation aims to adapt to novel classes from only a few annotations while maintaining strong performance on base classes, but this remains challenging due to the inherent stability-plasticity trade-off: adapting to novel classes can interfere with shared representations and cause base-class forgetting. We present HOP3D, a unified framework that learns hierarchical orthogonal prototypes with an entropy-based few-shot regularizer to enable robust novel-class adaptation without degrading base-class performance. HOP3D introduces hierarchical orthogonalization that decouples base and novel learning at both the gradient and representation levels, effectively mitigating base-novel interference. To further enhance adaptation under sparse supervision, we incorporate an entropy-based regularizer that leverages predictive uncertainty to refine prototype learning and promote balanced predictions. Extensive experiments on ScanNet200 and ScanNet++ demonstrate that HOP3D consistently outperforms state-of-the-art baselines under both 1-shot and 5-shot settings. The code is available at https://fdueblab-hop3d.github.io/.

研究の動機と目的

• 一般化 few-shot 3D 点群セグメンテーション（GFS-3DS）における基底クラスと新規クラスの干渉を解消する。
• 階層的直交化を通じて最適化ダイナミクスと表現幾何を切り離す統一フレームワークを開発する。
• エントロピーベースの正規化を用いて、新規予測を鋭利化しバランスを取ることで sparse supervision 下での適応を強化する。
• ScanNet200およびScanNet++で1ショットおよび5ショット設定下の最先端性能を示す。

提案手法

• HOP-Netは2つの直交性メカニズムを組み合わせる: (i) HOP-Gradは新規勾配を基底勾配部分空間の直交補空間へ射影してPhase 2の適応を安定化する。 (ii) HOP-Repは直交するプロトタイプ部分空間を強制して基底表現と新規表現を分解し分離性を向上させる。
• HOP-EntはPhase 2でデュアルエントロピー正規化を導入: 高信頼度の疑似ラベリングポイントに対する条件付きエントロピー最小化と新規クラス予測のバランスを取る周辺エントロピー最大化。
• Phase 1は基底クラスで訓練し、Gram–Schmidtにより正規直交勾配基底Bを構築する。Phase 2はBに関して勾配射影を適用し、表現レベルの分離にはHOP-Repを用いる。
• 統一的な直交正規化器は、全ての異なるプロトタイプ対間の余弦類似度を低く抑えることで基底と新規プロトタイプをデコレラションする。
• エントロピー正規化L_entはL_condとL_margを可変ウェイトで組み合わせ、信頼性の高い新規予測とバランスを誘導する。
• 訓練はPoint Transformer V3 backboneを用い、2段階プロトコルと新規 supervision の疑似ラベリングを組み合わせる。評価指標には基底（mIoU-B）、新規（mIoU-N）、全体（mIoU-A）、および調和平均 HM を含む。

実験結果

リサーチクエスチョン

• RQ1 一般化 few-shot 3D セグメンテーションにおいて、基底性能を損なうことなく基底クラスと新規クラスの干渉をどのように抑制できるか？
• RQ2 勾配空間とプロトタイプ空間の直交性を同時に確保することで、GFS-3DSにおける基底クラスと新規クラスの安定性と分離性を向上できるか？
• RQ3 エントロピー正規化は sparse supervision 下で新規クラスの信頼度とクラスバランスを改善するか？
• RQ4 階層的直交プロトタイプ学習戦略は、ScanNet200/ScanNet++および1ショット・5ショット設定の多様な3Dシーンデータセットへスケール可能か？

主な発見

• HOP3DはScanNet200とScanNet++の両方で、1ショットおよび5ショット設定において強力なベースライン（例: GFS-VL）を一貫して上回る。
• Phase 2の適応でHOP-GradとHOP-Repを用いると、基底–新規干渉が低減され、より対角的なプロトタイプ類似性構造が得られる。
• HOP-Entは新規クラスの予測の確信度とクラスバランスを改善しつつ、基底クラスへの影響を最小限に抑える。
• アブレーションにより、HOP-Grad、HOP-Rep、HOP-Entの組み合わせが、基底保持と新規一般化の最良のトレードオフを提供する。
• 5ショットのScanNet200では、HOP3Dは strongest baseline より高い mIoU-N と HM を達成し、基底性能も競合的である。ScanNet++でも同様の改善が見られる。
• 訓練オーバーヘッドは控えめで、強力なベースラインに対して約9.7%程度、推論コストは変わらない。