[논문 리뷰] SG-DOR: Learning Scene Graphs with Direction-Conditioned Occlusion Reasoning for Pepper Plants

Rohit Menon, Niklas Mueller-Goldingen외 3명|arXiv (Cornell University)|2026. 03. 06.

Smart Agriculture and AI인용 수 0

한 줄 요약

SG-DOR는 방향 조건의 가림 및 부착에 대해 추론하기 위해 고추 식물에 대한 명시적 장면 그래프를 학습하여 가림체의 순위 매기기와 기하학 인식 조작을 가능하게 한다. 방향 인식 GNN을 과일별 잎 세트 주의와 합성된 주석 데이터로 사용한다.

ABSTRACT

Robotic harvesting in dense crop canopies requires effective interventions that depend not only on geometry, but also on explicit, direction-conditioned relations identifying which organs obstruct a target fruit. We present SG-DOR (Scene Graphs with Direction-Conditioned Occlusion Reasoning), a relational framework that, given instance-segmented organ point clouds, infers a scene graph encoding physical attachments and direction-conditioned occlusion. We introduce an occlusion ranking task for retrieving and ranking candidate leaves for a target fruit and approach direction, and propose a direction-aware graph neural architecture with per-fruit leaf-set attention and union-level aggregation. Experiments on a multi-plant synthetic pepper dataset show improved occlusion prediction (F1=0.73, NDCG@3=0.85) and attachment inference (edge F1=0.83) over strong ablations, yielding a structured relational signal for downstream intervention planning.

연구 동기 및 목표

• 주어진 접근 방향에서 어떤 식물 기관이 대상 과일을 가리는지 식별하여 빽빽한 작물 덮개에서 표적 조작을 촉진한다.
• 구조적 부착 및 방향 조건 가림을 함께 인코딩하는 다운스트림 관계 모델을 장면 그래프에서 개발한다.
• 확장 가능한 감독 학습을 위한 실제 방향성 가림 라벨이 포함된 합성적이고 생물학적으로 타당한 데이터셋을 제공한다.
• 과일별 잎 세트 주의가 있는 방향 인식 그래프 신경망을 제안하여 연결 추론 및 가림 순위 매기기를 공동으로 수행한다.
• 정밀 원예에서 향후 인지 및 계획 연구를 가능하게 하기 위해 코드, 데이터셋 및 SG-DOR 프레임워크를 공개한다.

제안 방법

• 각 식물 기관을 인스턴스 그래프의 노드로 표현하고 간선은 잠재적 구조적 및 가림 관계로 표현한다.
• 각 기관에 대해 로컬 기하 임베딩을 추출하기 위해 PointNet++를 사용하고 간선 조건 메시지를 통해 임베딩을 정제하기 위해 GINE 기반 잔차 그래프 신경망을 사용한다.
• 노드 의미, 간선 존재/유형을 예측하고 과일-로컬 프레임의 18 개 표준 방향에서 가림체를 쿼리하는 교차 주의 모듈을 통해 방향 조건 가림 추론을 수행한다.
• 연결 부착과 가림체를 포착하기 위해 kNN, 반경, 줄기 기반 근접 기준으로 과잉 완전 후보 간선 세트를 구성한다.
• 노드 분류, 간선 존재/타이핑, 기하 회귀(무게중심 및 범위), 그리고 포괄적 가림 손실(합집합 가시성, 쌍별 포텐셜, 리스트 기반 랭킹, 잎-합집합 일관성)을 포함하는 다중 작업 목표로 학습한다.
• 가림 라벨은 18 방향에 걸친 보셀 기반 깊이 비교를 통해 생성되어 잎별 및 방향별 가림 질량 및 순위를 위한 타깃을 산출한다.

실험 결과

연구 질문

• RQ1 SG-DOR는 다양한 접근 방향에서 어떤 잎/기관이 대상 과일을 가리는지 정확하게 식별할 수 있는가?
• RQ2 방향 조건 가림 모듈이 심한 가림에서 가림체를 안정적으로 순위 매기고 합집합 가시성을 예측하는가?
• RQ3 명시적 공간 신호와 관계 추론이 혼잡한 식물 장면에서 간선 예측 및 기하학적 정확도에 어떤 영향을 미치는가?
• RQ4 합성적이고 생물학적으로 타당한 데이터셋이 실제 적용을 위한 방향 인식 가림 추론 학습과 평가에 충분한가?

주요 결과

• SG-DOR는 강력한 가림 순위 매기기(NDCG@3)와 가림체 식별(Occl Dir F1)을 달성하면서 간선 존재 F1을 높게 유지하고 정확한 기하 회귀를 보장한다.
• 자기 주의(self-attention) 또는 쌍별 기하를 제거하는 것이 가림 순위 매기기와 가시성 또한 크게 저하됨을 보여준다.
• 전역 합집합 가시성 감독에만 의존하면 검색 성능이 저하되며, 제안된 리스트 기반 순위 매기기 및 쌍별 포텐셜 손실의 중요성을 강조한다.
• SG-DOR는 기하학적 노이즈와 뷰포인트에 대한 강건함을 보여 주며, 교란 하에서도 토폴로지와 가림 추론을 보존한다.
• 전체 모델은 경쟁력 있는 관계 추론과 명시적 공간적 단서를 갖추지 않은 베이스라인보다 성능이 앞서며, 제안된 아키텍처와 손실 설계를 검증한다.