[論文レビュー] SG-DOR: Learning Scene Graphs with Direction-Conditioned Occlusion Reasoning for Pepper Plants

Rohit Menon, Niklas Mueller-Goldingen+3 more|arXiv (Cornell University)|Mar 6, 2026

Smart Agriculture and AI被引用数 0

ひとこと要約

SG-DORは方向条件付き遮蔽推論のために、ペッパー植物の明示的なシーングラフを学習し、遮蔽物のランク付けとジオメトリ認識操作を可能にする。果実局所フレームの18方向の遮蔽を照会する、葉ごと注意機構を備えた方向認識のGNNと合成データセットを使用。

ABSTRACT

Robotic harvesting in dense crop canopies requires effective interventions that depend not only on geometry, but also on explicit, direction-conditioned relations identifying which organs obstruct a target fruit. We present SG-DOR (Scene Graphs with Direction-Conditioned Occlusion Reasoning), a relational framework that, given instance-segmented organ point clouds, infers a scene graph encoding physical attachments and direction-conditioned occlusion. We introduce an occlusion ranking task for retrieving and ranking candidate leaves for a target fruit and approach direction, and propose a direction-aware graph neural architecture with per-fruit leaf-set attention and union-level aggregation. Experiments on a multi-plant synthetic pepper dataset show improved occlusion prediction (F1=0.73, NDCG@3=0.85) and attachment inference (edge F1=0.83) over strong ablations, yielding a structured relational signal for downstream intervention planning.

研究の動機と目的

• dense作物キャノピー内で、対象果実をアプローチ方向から遮る植物器官を特定してターゲット操作を促進することを動機付ける。
• シーングラフにおける構造的付着と方向条件付き遮蔽を同時にエンコードする下流のリレーショナルモデルを開発する。
• 合成で生物学的に妥当なデータセットを提供し、監視のスケーラビリティを確保するための真の方向性遮蔽ラベルを提供する。
• 果実ごとの葉集合注意を備えた方向認識グラフニューラルネットワークを提案し、付着推定と遮蔽ランク付けを同時に行う。
• 今後の知覚と精密園芸の計画研究を可能にするコード、データセット、SG-DORフレームワークを公開する。

提案手法

• 各植物器官をインスタンスグラフのノードとして表現し、エッジを構造的および遮蔽関係の潜在的関係として表現する。
• PointNet++を用いて各器官の局所幾何埋め込みを抽出し、エッジ条件付きのメッセージ伝播で埋め込みを洗練するGINEベースの残差グラフニューラルネットワークを用いる。
• ノード意味論、エッジの存在/型を予測し、果実局所フレームの18方向を横断的注意モジュールで照会して方向条件付き遮蔽推論を実行する。
• kNN、半径、柄ベースの近接アンカーを用いた過完備の候補エッセ集を構築し、付着物と遮蔽物を捕捉する。
• ノード分類、エッジの存在/型、幾何回帰（重心とextent）、包括的な遮蔽損失（連合視界、ペアワイズポテンシャル、リストワイ別ランキング、葉-連合整合性）を含むマルチタスク目的で学習する。
• 遮蔽ラベルは18方向にわたる体素ベースの深度比較を介して生成され、葉ごとおよび方向ごとの遮蔽量とランキングのターゲットを作成する。

実験結果

リサーチクエスチョン

• RQ1 SG-DORは、様々なアプローチ方向から対象果実を葉/器官がどれだけ遮るかを正確に識別できるか。
• RQ2 方向条件付き遮蔽モジュールは、遮蔽物を信頼性高くランク付けし、極端な遮蔽下で連合視界を予測できるか。
• RQ3 明示的な空間手掛かりと関係推論が、混在する植物シーンのエッジ予測と幾何学的精度にどのように影響するか。
• RQ4 合成で生物学的に妥当なデータセットは、実世界の応用のための方向認識遮蔽推論の訓練と評価に十分か。

主な発見

• SG-DORは遮蔽ランク付け（NDCG@3）と遮蔽物識別（Occl Dir F1）で強力な性能を発揮し、エッジ存在F1と幾何回帰の精度を維持する。
• 自己注意またはペアワイズ幾何を除去すると、遮蔽ランク付けと可視性が高度に遮蔽されたビューで大きく劣化することをアブレーションで示した。
• グローバルな連合視界のみの supervison に頼ると取得性能が崩れることを示し、提案されたリストワイランキングとペアワイズポテンシャル損失の重要性を浮き彫りにした。
• SG-DORは幾何ノイズや視点の変動に対する頑健性を示し、摂動下でもトポロジーと遮蔽推論を保持する。
• 完全なモデルは、競合的な関係推論と明示的な空間手掛かりを欠くベースラインより優れており、提案アーキテクチャと損失設計を検証する。