[论文解读] CoT3DRef: Chain-of-Thoughts Data-Efficient 3D Visual Grounding

Eslam Mohamed Bakr, Mohamed Ayman+3 more|arXiv (Cornell University)|Oct 10, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

CoT3DRef 提出了一种数据高效、可解释的 3D 视觉定位框架，通过将物体定位分解为一系列逻辑推理步骤，模拟人类感知。该方法在 Nr3D、Sr3D 和 ScanRefer 基准上达到最先进性能，仅使用 10% 的训练数据即可匹配最先进结果，并通过高效的伪标签生成器消除了对手动标注的依赖。

ABSTRACT

3D visual grounding is the ability to localize objects in 3D scenes conditioned by utterances. Most existing methods devote the referring head to localize the referred object directly, causing failure in complex scenarios. In addition, it does not illustrate how and why the network reaches the final decision. In this paper, we address this question Can we design an interpretable 3D visual grounding framework that has the potential to mimic the human perception system?. To this end, we formulate the 3D visual grounding problem as a sequence-to-sequence Seq2Seq task by first predicting a chain of anchors and then the final target. Interpretability not only improves the overall performance but also helps us identify failure cases. Following the chain of thoughts approach enables us to decompose the referring task into interpretable intermediate steps, boosting the performance and making our framework extremely data-efficient. Moreover, our proposed framework can be easily integrated into any existing architecture. We validate our approach through comprehensive experiments on the Nr3D, Sr3D, and Scanrefer benchmarks and show consistent performance gains compared to existing methods without requiring manually annotated data. Furthermore, our proposed framework, dubbed CoT3DRef, is significantly data-efficient, whereas on the Sr3D dataset, when trained only on 10% of the data, we match the SOTA performance that trained on the entire data. The code is available at https:eslambakr.github.io/cot3dref.github.io/.

研究动机与目标

• 设计一种可解释的 3D 视觉定位框架，通过将推理建模为一系列逻辑步骤，模拟人类感知。
• 通过减少对大规模人工标注数据集的依赖，提升 3D 视觉定位中的数据效率。
• 通过支持可追溯的中间预测（锚点）实现模型透明度的提升，从而在最终目标定位前提供中间步骤。
• 无缝集成到现有 3D 视觉定位架构中，无需进行架构上的重大修改。
• 开发一种基于逻辑对象排序的伪标签生成器，以提供低成本、高质量的监督信号，提升学习效率。

提出的方法

• 将 3D 视觉定位建模为序列到序列（Seq2Seq）任务，模型在最终目标对象之前预测一系列因果关系的中间锚点。
• 利用大型语言模型（GPT-3.5）并结合精心设计的上下文提示，从自然语言查询中提取提及对象的逻辑顺序。
• 设计一种伪标签生成器，利用提取出的逻辑顺序生成合成训练信号，用于训练视觉定位模型。
• 将 CoT3DRef 框架集成到四种现有架构中：LAR、SAT、MVT 和 ViL，实现即插即用的兼容性。
• 使用生成的伪标签端到端训练模型，同时在锚点序列和最终目标定位上施加监督。
• 采用基于网络的交互式界面，为 Nr3D 数据集的 10% 样本收集高质量真实标注，以验证几何模块的准确性。

实验结果

研究问题

• RQ1 能否设计一种 3D 视觉定位模型，通过中间逻辑步骤的推理来模拟人类感知？
• RQ2 思维链方法是否能在不增加人工标注的前提下提升 3D 视觉定位的数据效率？
• RQ3 中间预测的可解释性如何影响模型性能与失败案例分析？
• RQ4 基于逻辑对象排序的伪标签生成器在多大程度上能提升学习效率与泛化能力？
• RQ5 CoT3DRef 框架是否能在仅使用 10% 数据的情况下，在多个基准上实现最先进性能？

主要发现

• CoT3DRef 在 Sr3D、Nr3D 和 ScanRefer 基准上均实现了最先进性能，且无需任何额外人工标注。
• 在 Sr3D 数据集上，CoT3DRef 仅使用 10% 的数据训练，即可达到在完整数据集上训练的最先进模型的性能。
• 当集成到 LAR、SAT、MVT 和 ViL 基线模型中时，CoT3DRef 在 Nr3D 上分别提升了 3.6%、4%、5% 和 0.5%，在 Sr3D 上分别提升了 10%、11%、9% 和 1%。
• 伪标签生成器显著提升了学习效率，减少了对昂贵人工标注数据的依赖，同时保持了高精度。
• 模型的可解释性使得失败案例分析更加高效，因为锚点链路清晰揭示了模型达到最终预测所采用的推理路径。
• 基于网络的标注界面成功为 Nr3D 数据集的 10% 样本收集了真实标注数据，验证了几何模块的准确性以及锚点逻辑顺序的正确性。