[논문 리뷰] RICE: Refining Instance Masks in Cluttered Environments with Graph Neural Networks

Christopher Xie, Arsalan Mousavian외 2명|arXiv (Cornell University)|2021. 06. 29.

Architecture and Computational Design인용 수 7

한 줄 요약

RICE는 분할 마스크를 개선하기 위해 그래프 신경망 기반 프레임워크를 제안한다. 이는 스마트한 변형(분할, 병합, 삭제)을 샘플링하고, 분할 그래프 스코링 네트워크(SGS-Net)를 통해 평가함으로써 혼잡한 환경에서의 인스턴스 세그멘테이션 마스크를 정교화한다. 기존 방법과 결합할 경우 최신 기술 수준(SOTA) 성능을 달성하며, 윤곽 불확실성 추정치를 활용해 조작기를 안내함으로써 효율적인 시나리오 이해를 가능하게 한다.

ABSTRACT

Segmenting unseen object instances in cluttered environments is an important capability that robots need when functioning in unstructured environments. While previous methods have exhibited promising results, they still tend to provide incorrect results in highly cluttered scenes. We postulate that a network architecture that encodes relations between objects at a high-level can be beneficial. Thus, in this work, we propose a novel framework that refines the output of such methods by utilizing a graph-based representation of instance masks. We train deep networks capable of sampling smart perturbations to the segmentations, and a graph neural network, which can encode relations between objects, to evaluate the perturbed segmentations. Our proposed method is orthogonal to previous works and achieves state-of-the-art performance when combined with them. We demonstrate an application that uses uncertainty estimates generated by our method to guide a manipulator, leading to efficient understanding of cluttered scenes. Code, models, and video can be found at https://github.com/chrisdxie/rice .

연구 동기 및 목표

• 기존 방법이 겹침 또는 모호한 물체 인스턴스로 인해 실패하는 고도로 혼잡하고 비정형적인 환경에서 인스턴스 세그멘테이션을 향상시키는 것.
• 기존 방법의 새로운 물체 카테고리 및 고밀도 혼잡 처리 능력의 한계를 보완하기 위해 분할 마스크의 그래프 기반 표현을 통한 관계 추론을 도입하는 것.
• 재학습이나 아키텍처 변경 없이도 기존 세그멘테이션 출력을 향상시키는 개선 프레임워크를 개발하는 것.
• 개선 과정에서 유도된 불확실성 추정치를 활용해 물리적 상호작용을 안내함으로써 효율적인 로봇 시나리오 이해를 가능하게 하는 것.

제안 방법

• 각 마스크를 노드로, 공간적으로 가까운 마스크들 간에 연결된 간선을 형성함으로써 초기 인스턴스 마스크를 그래프로 표현하고, 분할 그래프를 구성한다.
• CEM 스타일 최적화 프레임워크를 사용하여 스마트한 변형(예: 분할, 병합, 삭제)을 생성하는 샘플링 작업 네트워크(SO-Nets)를 훈련시킨다.
• 관계적 인덕티브 바이어스를 인코딩하는 그래프 신경망(SGS-Net)을 사용하여 각 변형된 분할 그래프의 스코어를 평가한다.
• 최고 스코어를 얻은 그래프 또는 그 윤곽 불확실성 추정치를 최종 출력으로 사용함으로써, 개선된 분할과 불확실성 기반 의사결정을 동시에 가능하게 한다.
• 기존 인스턴스 세그멘테이션 모델과 수직적으로 통합 가능한 후처리 모듈로 개선 파이프라인을 통합함으로써 즉시 사용 가능한 성능 향상 기능을 제공한다.
• 샘플된 그래프들 간의 마스크 윤곽 표준편차로 산출된 윤곽 불확실성 추정치를 활용해 로봇 조작을 안내함으로써, 모호성이 해소되어야 할 물체만을 식별한다.

실험 결과

연구 질문

• RQ1 그래프 신경망 기반의 관계 추론이 새로운 물체가 포함된 고도로 혼잡한 상황에서의 인스턴스 세그멘테이션 성능을 향상시킬 수 있는가?
• RQ2 스스로 학습하는 스마트한 변형(분할, 병합, 삭제)이 초기 세그멘테이션 출력의 품질을 크게 향상시킬 수 있는가?
• RQ3 SO-Nets와 SGS-Net의 조합이 SO-Nets 단독 사용보다 더 나은 세그멘테이션 성능을 내는가?
• RQ4 개선 과정에서 도출된 불확실성 추정치를 활용해 로봇 조작에서 효율적이고 능동적인 시나리오 이해를 가능하게 할 수 있는가?
• RQ5 이 방법은 재학습 없이도 기존 세그멘테이션 모델에 플러그인 방식으로 적용 가능한가?

주요 결과

• RICE는 기존 인스턴스 세그멘테이션 방법과 결합할 경우, 혼잡한 환경에서의 새로운 물체 인스턴스에 대해 기준 모델보다 유의미하게 뛰어난 최신 기술 수준(SOTA) 성능을 달성한다.
• 분할 그래프 스코링 네트워크(SGS-Net)는 SO-Nets 단독 사용보다 더 정확하고 일관성 있게 분할 그래프를 순위 매기며, 분산을 감소시키고 일반화 능력을 향상시킨다.
• 시각적 분석 결과, RICE는 일반적인 오류인 과소세분화, 무늬가 있는 배경에서의 잘못된 양성 결과, 누락된 물체 등을 효과적으로 수정함을 확인할 수 있다.
• RICE에서 도출된 윤곽 불확실성 추정치는 조작기가 오직 가장 모호한 세그먼트만을 식별하도록 도와주며, 물리적 상호작용 횟수를 줄인다. 예를 들어, 한 장면에서는 오직 두 번의 그립만으로 불확실성을 완전히 해소할 수 있었다.
• 이 방법은 계산적으로 집약적이며, 프레임당 10~15초의 처리 시간이 소요되며, 전체 샘플 트리를 메모리에 저장해야 하므로 GPU 메모리 소모가 크다.
• 실패 사례로는 무늬가 있는 물체(예: 시리얼 박스)의 과다세분화와 동일 물체이지만 인접하지 않은 마스크를 병합하지 못하는 문제 등 현재의 한계가 드러났다.