[論文レビュー] RICE: Refining Instance Masks in Cluttered Environments with Graph Neural Networks

Christopher Xie, Arsalan Mousavian+2 more|arXiv (Cornell University)|Jun 29, 2021

Architecture and Computational Design被引用数 7

ひとこと要約

RICEは、分割マスクの関係的推論を可能にするグラフニューラルネットワークベースのフレームワークを提案する。このフレームワークは、スプリット、マージ、削除といったスマートな摂動をサンプリングし、セグメンテーショングラフスコアリングネットワーク（SGS-Net）を用いてスコアリングすることで、ごちゃついたシーンにおけるインスタンスセグメンテーションマスクの最適化を実現する。この手法は、既存の手法と組み合わせることで最先端の性能を達成し、ホライズンの不確実性推定値を用いてマニピュレーターを誘導することで、効率的なシーン理解を可能にする。

ABSTRACT

Segmenting unseen object instances in cluttered environments is an important capability that robots need when functioning in unstructured environments. While previous methods have exhibited promising results, they still tend to provide incorrect results in highly cluttered scenes. We postulate that a network architecture that encodes relations between objects at a high-level can be beneficial. Thus, in this work, we propose a novel framework that refines the output of such methods by utilizing a graph-based representation of instance masks. We train deep networks capable of sampling smart perturbations to the segmentations, and a graph neural network, which can encode relations between objects, to evaluate the perturbed segmentations. Our proposed method is orthogonal to previous works and achieves state-of-the-art performance when combined with them. We demonstrate an application that uses uncertainty estimates generated by our method to guide a manipulator, leading to efficient understanding of cluttered scenes. Code, models, and video can be found at https://github.com/chrisdxie/rice .

研究の動機と目的

• 既存の手法が重なっているか、曖昧なオブジェクトインスタンスがあるために失敗する、非常にごちゃついた非構造的環境におけるインスタンスセグメンテーションの改善を目的とする。
• 未学習のオブジェクトカテゴリーや密集したクラッターに対処する現行手法の限界を補うために、セグメンテーションマスクのグラフ表現を通じた関係的推論を導入することを目的とする。
• 再トレーニングやアーキテクチャの変更を必要とせず、既存のセグメンテーション出力を向上させる最適化フレームワークの開発を目的とする。
• 最適化プロセスから得られる不確実性推定値を活用して、物理的相互作用を効率的に誘導することで、ロボットのシーン理解を効率化することを目的とする。

提案手法

• 各マスクをノードとし、空間的に近いマスク同士を接続することで、初期のインスタンスマスクをグラフとして表現する。このグラフはセグメンテーショングラフと呼ぶ。
• CEMスタイルの最適化フレームワークを用いて、スプリット、マージ、削除といったインテリジェントな摂動を生成するためのサンプリングオペレーションネットワーク（SO-Nets）を訓練する。
• 関係的インダクティブバイアスをエンコードするためのグラフニューラルネットワーク（SGS-Net）を用いて、摂動を加えたセグメンテーショングラフのスコアを算出する。
• 最高スコアのグラフ、またはそのホライズンの不確実性を最終出力とし、セグメンテーションの向上と不確実性に配慮した意思決定を両立させる。
• 既存のインスタンスセグメンテーションモデルとは直交するpost-processingモジュールとして、この最適化パイプラインを統合し、即座に統合可能な強化を可能にする。
• サンプリングされたグラフ間でのマスクホライズンの標準偏差として得られるホライズンの不確実性を活用し、曖昧性を解消するために物理的相互作用が必要なオブジェクトを特定することで、ロボットのマニピュレーションを誘導する。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークによる関係的推論は、未学習のオブジェクトが多数存在するごちゃついたシナリオにおけるインスタンスセグメンテーションを改善できるか？
• RQ2 学習されたスマートな摂動（スプリット、マージ、削除）は、初期のセグメンテーション出力の品質を著しく向上させられるか？
• RQ3 SO-NetsとSGS-Netの組み合わせは、SO-Nets単体よりも優れたセグメンテーション性能を達成できるか？
• RQ4 最適化プロセスから得られる不確実性推定値は、ロボットマニピュレーションにおける効率的でアクティブなシーン理解を可能にするか？
• RQ5 この手法は、再トレーニングを必要とせず、既存のセグメンテーションモデルにプラグインとして適用可能か？

主な発見

• RICEは、既存のインスタンスセグメンテーション手法と組み合わせることで、ごちゃついたシーンにおける未学習のオブジェクトインスタンスにおいて、ベースラインモデルを著しく上回る最先端の性能を達成する。
• セグメンテーショングラフスコアリングネットワーク（SGS-Net）は、SO-Nets単体よりもより正確かつ一貫性のあるグラフスコアリングを学習し、分散を低減し、一般化性能を向上させる。
• 可視化によるアブレーション実験では、RICEが、アンダーセグメンテーション、テクスチャのある背景上の誤検出、欠落オブジェクトといった一般的な誤りを効果的に是正していることが示された。
• RICEが得るホライズンの不確実性推定値は、マニピュレーターが曖昧性が最も高いセグメンテーションのみを特定し、物理的相互作用の回数を削減できることを示している。例えば、あるシーンでは2回のグリップで不確実性を完全に解消できた。
• この手法は計算的に高負荷であり、1フレームあたり10〜15秒の処理時間が必要であり、全サンプルツリーをメモリに保持する必要があるため、GPUメモリも高消費となる。
• 失敗モードとして、テクスチャの多いオブジェクト（例：シリアルボックス）の過剰なセグメンテーションや、同じオブジェクトに属する非隣接マスク同士のマージ不能が観察され、現在の限界を示している。