[论文解读] Monte Carlo Scene Search for 3D Scene Understanding

Shreyas Hampali, Sinisa Stekovic+4 more|elib (German Aerospace Center)|Mar 14, 2021

3D Shape Modeling and Analysis参考文献 33被引用 5

一句话总结

本文提出蒙特卡洛场景搜索（MCSS），一种将蒙特卡洛树搜索（MCTS）应用于3D场景理解的新型方法，通过分析-合成方法从噪声RGB-D扫描中优化物体和布局假设。通过结合空间约束的树构建方式与局部评分函数，MCSS在ScanNet和Scan2CAD基准上实现了最先进性能，相比基线方法在精确率和召回率方面表现更优，同时减少了对标注训练数据的依赖。

ABSTRACT

We explore how a general AI algorithm can be used for 3D scene understanding to reduce the need for training data. More exactly, we propose a modification of the Monte Carlo Tree Search (MCTS) algorithm to retrieve objects and room layouts from noisy RGB-D scans. While MCTS was developed as a game-playing algorithm, we show it can also be used for complex perception problems. Our adapted MCTS algorithm has few easy-to-tune hyperparameters and can optimise general losses. We use it to optimise the posterior probability of objects and room layout hypotheses given the RGB-D data. This results in an analysis-by-synthesis approach that explores the solution space by rendering the current solution and comparing it to the RGB-D observations. To perform this exploration even more efficiently, we propose simple changes to the standard MCTS' tree construction and exploration policy. We demonstrate our approach on the ScanNet dataset. Our method often retrieves configurations that are better than some manual annotations, especially on layouts.

研究动机与目标

• 减少对大规模、人工标注的3D训练数据集在3D场景理解任务中的依赖。
• 解决监督深度学习方法的局限性，包括泛化能力差和对标注错误敏感的问题。
• 开发一种感知框架，能够高效探索3D场景重建中的复杂高维解空间。
• 实现在复杂室内场景中鲁棒的物体与布局推理，且超参数调优需求极少。
• 证明MCTS——原本专为游戏设计——可被有效重用于复杂的3D感知任务。

提出的方法

• 通过将感知建模为单人游戏，将蒙特卡洛树搜索（MCTS）适配于3D场景理解，以寻找最能解释RGB-D观测结果的假设。
• 采用分析-合成方法：渲染候选的物体与布局假设，并使用不可微分损失函数将其与输入的RGB-D数据进行比较。
• 引入局部评分函数（公式6），通过评估解空间中的局部改进来引导节点选择，提升收敛速度。
• 通过结构约束构建搜索树，排除不可能的解（如物体相交），并在提议选择中强制空间邻近性。
• 采用改进的探索策略，优先选择路径上靠近已有节点的提议，从而提升局部搜索效率。
• 利用MCTS优化给定观测下假设的后验概率，支持在任意时刻中断，适用于实时机器人应用。

实验结果

研究问题

• RQ1 蒙特卡洛树搜索能否被有效适配于3D场景理解任务，如物体检测与布局估计？
• RQ2 所提出的MCSS方法是否在真实RGB-D扫描中，使用极少训练数据时，优于现有基线方法，在精确率与召回率方面表现更优？
• RQ3 在复杂室内场景中，引入布局估计在多大程度上提升了物体检索的准确性？
• RQ4 局部评分函数在多大程度上加速了MCTS-based场景搜索的收敛并提升了解的质量？
• RQ5 当真实标注不完整或错误时，MCSS是否仍能恢复合理的配置？

主要发现

• 在0.5 IoU阈值下，MCSS在椅子检测任务中达到75%精确率与87%召回率，显著优于基线方法（在0.75 IoU下为66%精确率与59%召回率）。
• 在沙发检测任务中，MCSS在0.5 IoU下达到79%精确率与93%召回率，超过基线的77%精确率与80%召回率。
• 在Scan2CAD基准上，MCSS在椅子与沙发的物体对齐支持率分别达到74.32%与78.70%，优于端到端方法（E2E），并达到SceneCAD水平，且未使用物体间支持先验。
• 消融实验表明，使用局部评分函数相比标准仿真评分，使布局与物体的最优解得分分别提升9%与15%。
• 在物体检索中引入布局估计，使椅子召回率从61%提升至84%，桌子召回率从34%提升至58%，证明了结构上下文的重要性。
• MCSS检索出的物体数量多于人工标注中的数量——例如，在标注仅包含4张桌子的场景中，MCSS正确识别出8张桌子——表明其对标注偏差具有鲁棒性。