[논문 리뷰] SceneGraphNet: Neural Message Passing for 3D Indoor Scene Augmentation

Yang Zhou, Zachary While외 1명|arXiv (Cornell University)|2019. 07. 25.

Robotics and Sensor-Based Localization참고 문헌 23인용 수 6

한 줄 요약

SceneGraphNet는 반복적 신경 메시지 전달과 주의 메커니즘을 갖춘 그래프 신경망을 제안하여 3D 실내 환경에서 누락된 위치에 대한 타당한 물체 유형을 예측한다. 밀도 높은 시나리오 그래프에서 공간적 및 구조적 관계를 모델링함으로써, SUNCG 데이터셋에서 이전 방법 대비 16% 향상된 67%의 제로샷 물체 예측 정확도(51%에서 67%)를 달성하며, 동시에 맥락 인식 기반의 인식과 반복적 인식 생성을 가능하게 한다.

ABSTRACT

In this paper we propose a neural message passing approach to augment an input 3D indoor scene with new objects matching their surroundings. Given an input, potentially incomplete, 3D scene and a query location, our method predicts a probability distribution over object types that fit well in that location. Our distribution is predicted though passing learned messages in a dense graph whose nodes represent objects in the input scene and edges represent spatial and structural relationships. By weighting messages through an attention mechanism, our method learns to focus on the most relevant surrounding scene context to predict new scene objects. We found that our method significantly outperforms state-of-the-art approaches in terms of correctly predicting objects missing in a scene based on our experiments in the SUNCG dataset. We also demonstrate other applications of our method, including context-based 3D object recognition and iterative scene generation.

연구 동기 및 목표

• 부분적으로 손실된 3D 실내 환경에서 누락되거나 질의된 위치에 대해 타당한 물체 유형을 예측하는 데 도전하는 것.
• 물체 외관에만 의존하는 것이 아니라, 환경 내 물체 간 맥락적 관계를 활용하여 3D 물체 인식을 향상시키는 것.
• 진행적으로 맥락적으로 적절한 물체를 추가함으로써 반복적인 3D 시나리오 증강을 가능하게 하는 것.
• 다양한 관계 유형을 갖춘 통합된 그래프 표현을 통해 실내 환경 내 국소적 및 장거리 관계를 모델링하는 것.
• 주의 메커니즘을 통해 유의미한 환경 맥락을 동적으로 가중치를 부여하는 메시지 전달 메커니즘을 개발하여 예측의 강건성과 정확도를 향상시키는 것.

제안 방법

• 노드가 물체이고, 엣지는 지지, 인접, 공존, 둘러싸임 등의 다중 관계 유형을 인코딩하는 3D 실내 환경을 밀도 높은 그래프로 표현한다.
• 각 노드가 이웃 노드로부터 메시지를 수신하는 데 사용되는 학습된 관계별 신경 모듈을 갖춘 메시지 전달 프레임워크를 적용한다.
• 다중 반복 동안 메시지를 집계하기 위해 게이트드 순환 단위(Gated Recurrent Unit, GRU)를 사용하여 그래프 내에서 동적 맥락 통합을 가능하게 한다.
• 유용성에 따라 들어오는 메시지를 가중치를 두어, 모델이 가장 정보가 많은 환경 맥락에 집중할 수 있도록 주의 메커니즘을 적용한다.
• 메시지 전달을 다중 라운드에 걸쳐 반복하여 물체 예측을 정밀하게 조정하며, 세 번의 반복 후 성능이 안정화됨을 확인하였다.
• SceneGraphNet의 예측 결과를 다중 시점 컨볼루션 네트워크(MVCNN) 특징과 통합하여 맥락 인식 기반 3D 물체 인식을 향상시킨다.

실험 결과

연구 질문

• RQ1 밀도 높은 시나리오 그래프에서 신경 메시지 전달 프레임워크가 손실된 3D 실내 환경에서의 물체 유형 예측에 효과적인가?
• RQ2 트리, 희박, 완전 연결 등의 다양한 그래프 구조와 합산, 최대값, GRU 등의 메시지 집계 메커니즘이 성능에 미치는 영향은 어떠한가?
• RQ3 균일하거나 거리 기반 가중치 대비 주의 기반 메시지 가중치 도입이 물체 예측 정확도 향상에 얼마나 기여하는가?
• RQ4 제안된 방법이 외관 특징 외의 시나리오 맥락을 활용하여 3D 물체 인식을 향상시킬 수 있는가?
• RQ5 진행적으로 물체를 추가하는 불완전한 시나리오에서 반복적 시나리오 생성에 대해 이 방법의 효과는 어떠한가?

주요 결과

• SceneGraphNet는 SUNCG 데이터셋에서 제로샷 물체 예측 정확도를 이전 최신 기술 대비 16% 향상시켜 51%에서 67%로 향상시켰다.
• 메시지 전달을 세 번 반복한 후 상위 5개 정확도가 89.5%에 도달하였으며, 그 이후 성능이 안정화되고 최소한의 진동을 보였다.
• SceneGraphNet와 MVCNN을 조합한 맥락 인식 기반 물체 인식은 테스트 시나리오 전반에서 평균 분류 정확도를 59.2%에서 72.2%로 향상시켰다.
• 제거 실험 결과, GRU 집계, 주의 가중치, 밀도 높은 그래프 구조를 모두 포함한 전체 모델이 합산, 최대값, 또는 일반 RNN 집계를 사용한 모든 변형보다 우수한 성능을 보였다.
• 물체 크기를 평균 26cm의 오차로 예측하여 GRAINS(38cm 오차)보다 우수한 기하학적 일관성 향상을 보였으며, 시나리오 증강에서 개선된 정확도를 입증하였다.
• 모델은 다양한 실내 유형에 대해 강력한 일반화 능력을 보이며, 그림 8에서 보듯이 실내 물체 수가 증가할수록 상위 3개 분류 정확도가 크게 향상됨을 확인하였다.