[論文レビュー] ExPrIS: Knowledge-Level Expectations as Priors for Object Interpretation from Sensor Data

Marian Renz, Martin Günther+3 more|arXiv (Cornell University)|Jan 21, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

tldr: ExPrISは、知識レベルの期待を事前情報として活用し、逐次的な3Dセマンティックシーングラフ（3DSSG）予測をバiasすることを検討し、文脈的履歴と外部知識グラフを異種GNN内で統合します。

ABSTRACT

While deep learning has significantly advanced robotic object recognition, purely data-driven approaches often lack semantic consistency and fail to leverage valuable, pre-existing knowledge about the environment. This report presents the ExPrIS project, which addresses this challenge by investigating how knowledge-level expectations can serve as to improve object interpretation from sensor data. Our approach is based on the incremental construction of a 3D Semantic Scene Graph (3DSSG). We integrate expectations from two sources: contextual priors from past observations and semantic knowledge from external graphs like ConceptNet. These are embedded into a heterogeneous Graph Neural Network (GNN) to create an expectation-biased inference process. This method moves beyond static, frame-by-frame analysis to enhance the robustness and consistency of scene understanding over time. The report details this architecture, its evaluation, and outlines its planned integration on a mobile robotic platform.

研究の動機と目的

• sensorデータからの物体解釈における意味的一貫性を向上させるための知識レベルの文脈の利用を動機づける。
• 過去の観測と外部知識グラフからの期待を統合する逐次的な3Dセマンティックシーングラフ（3DSSG）フレームワークを開発する。
• シーングラフ予測のために事前情報を組み込んだヘテロジニアスGNNを用いた期待ベース推論を可能にする。

提案手法

• 空間的および意味的関係をモジュール的に分離した動的な多層3DSSGを構築する。
• 過去の予測からの文脈的事前情報と知識グラフ（ConceptNet）からの知識事前情報の2種類の期待を定義する。
• ConceptNetからサブグラフを抽出し、メッセージパッシングの埋め込みを生成するパイプラインを使用する。
• グローバル（文脈/知識）事前情報を局所フレーム予測へクロスレイヤーエッジとして組み込むように、ヘテロジニアスGNN（GraphSAGEまたはHGT）を拡張する。
• 局所グラフノード/エッジ予測に対する複合損失で訓練し、グローバルグラフを直接の監視ではなくバイアスとして扱う。
• リアルタイムの逐次的3DSSG構築のためにMobipickモバイルマニピュレータ上で全パイプラインの統合を計画する。

Figure 1: The ExPrIS/LIEREx semantic mapping architecture. This paper focuses on the ExPrIS and semantic map parts.

実験結果

リサーチクエスチョン

• RQ1 現代のシーングラフ生成において知識レベルの期待を事前情報として処理する適切なアプローチは何か。
• RQ2 文脈的および意味的事前情報を逐次的な3DSSG予測に統合して、時間とともに堅牢性を向上させる方法は。
• RQ3 期待ベース推論はロボティクスにおける意味的一貫性と長期的なシーン理解を向上させるか。

主な発見

• 期待ベースのフレームワークを提案し、文脈履歴と外部知識グラフの両方でGNN推論をバイアス付けする。
• クロスレイヤーメッセージ伝搬を介してグローバルな3DSSGと局所フレームグラフを統合し、予測を改善することを実証。
• TSDFベースの幾何学性を軽量な境界体積とスパースボクセルグリッドに置換して、意味的推論の効率を向上させることを示唆。
• Mobipickロボットでの現実世界での検証を計画し、動的環境での堅牢性を評価する。

Figure 2: Hierarchical scene graph based on contact and support relationships.