[論文レビュー] SEP-YOLO: Fourier-Domain Feature Representation for Transparent Object Instance Segmentation

Fan Zhang, Tao Yan+1 more|arXiv (Cornell University)|Mar 3, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

SEP-YOLOは周波数領域デテール強化モジュールと多尺度リファインメントストリームを用いるデュアルドメイン框組で透明オブジェクトのインスタンスセグメンテーションを改善し、Trans10KとGVDで最先端の性能をリアルタイム速度で達成します。

ABSTRACT

Transparent object instance segmentation presents significant challenges in computer vision, due to the inherent properties of transparent objects, including boundary blur, low contrast, and high dependence on background context. Existing methods often fail as they depend on strong appearance cues and clear boundaries. To address these limitations, we propose SEP-YOLO, a novel framework that integrates a dual-domain collaborative mechanism for transparent object instance segmentation. Our method incorporates a Frequency Domain Detail Enhancement Module, which separates and enhances weak highfrequency boundary components via learnable complex weights. We further design a multi-scale spatial refinement stream, which consists of a Content-Aware Alignment Neck and a Multi-scale Gated Refinement Block, to ensure precise feature alignment and boundary localization in deep semantic features. We also provide high-quality instance-level annotations for the Trans10K dataset, filling the critical data gap in transparent object instance segmentation. Extensive experiments on the Trans10K and GVD datasets show that SEP-YOLO achieves state-of-the-art (SOTA) performance.

研究の動機と目的

• 透明オブジェクトのインスタンスセグメンテーションにおける境界のぼやけと低コントラストを解決する。
• 周波数領域処理を活用して境界信号を弱い場合でも強化する。
• 深層特徴における Boundary Details を保持するためのクロススケール特徴融合と整列を開発する。
• Trans10Kの高品質インスタンスレベルアノテーションを提供し、タスクを支援する。

提案手法

• FFT空間で学習可能な複素重量を用いた周波数領域デテール強化モジュール（FDDEM）により境界関連の高周波成分を強化。
• クロススケールリファインメントとノイズ抑制のためのマルチスケールゲーティングユニットとMSDWConvを備えたマルチスケールゲーティドリファインメントブロック（MS-GRB）。
• 境界ディテールを保持するためのダウンサンプリングに Linear Deformable Convolution を用いたContent-Aware Alignment Neck（CA2-Neck）と、適応的なアップサンプリングを実現する DySample。
• 周波数強化特徴と空間特徴をデュアルアテンション機構を介して統合し、適応的ウェイト付けを行う。

実験結果

リサーチクエスチョン

• RQ1 透明オブジェクトの高周波境界ディテールを、空間領域の制限を超えてどう強化できるか。
• RQ2 周波数領域処理とクロススケールリファイメントを組み合わせて透明オブジェクトのインスタンスレベルセグメンテーションを改善できるか。
• RQ3 高度なアライメントとアップサンプリング機構は、透明オブジェクトのピラミダル特徴における境界ずれを低減できるか。
• RQ4 提案コンポーネントを用いた透明オブジェクトベンチマーク（Trans10KとGVD）での性能向上はどの程度か。
• RQ5 高品質なTrans10Kインスタンスレベルアノテーションを追加することがモデル性能に及ぼす影響は。

主な発見

• SEP-YOLOはTrans10KとGVDで箱（Box）およびマスク（Mask）のmAP指標で最先端の結果を達成。
• FDDEMを追加すると、Baseline YOLO11と比較してTrans10KのBox mAP50が0.816から0.836、Mask mAP50が0.813から0.833へ改善。
• MS-GRBとCA2-Neckを組み込むことで追加の利得が得られ、SEP-YOLO全体でTrans10KのBox mAP50が0.852、Mask mAP50が0.851に達成。
• GVDではSEP-YOLOはBox mAP50が0.882、Mask mAP50が0.872、パラメータ2.98M、FPS 88を達成。
• アブレーション研究は段階的な改善を示す：ベースラインYOLO11 -> +FDDEM -> +MS-GRB -> +CA2-Neck -> SEP-YOLO、Trans10KとGVDの両方で。
• SEP-YOLOは軽量アーキテクチャとリアルタイム推論を維持しつつ、透明オブジェクトのセグメンテーション精度を大きく向上。