[论文解读] Logic-induced Diagnostic Reasoning for Semi-supervised Semantic Segmentation

Liang Chen, Wenguan Wang+2 more|arXiv (Cornell University)|Aug 24, 2023

Natural Language Processing TechniquesComputer Science被引用 3

一句话总结

该论文提出 LOGICDIAG，一种神经符号半监督学习框架，利用一阶逻辑规则检测并解决伪标签预测中的冲突，通过符号推理纠正错误标签，从而提升语义分割的准确性。该方法在三个基准数据集上实现了最先进性能，mIoU 提升 1.21%–4.15%，尤其在低标签设置下表现突出。

ABSTRACT

Recent advances in semi-supervised semantic segmentation have been heavily reliant on pseudo labeling to compensate for limited labeled data, disregarding the valuable relational knowledge among semantic concepts. To bridge this gap, we devise LogicDiag, a brand new neural-logic semi-supervised learning framework. Our key insight is that conflicts within pseudo labels, identified through symbolic knowledge, can serve as strong yet commonly ignored learning signals. LogicDiag resolves such conflicts via reasoning with logic-induced diagnoses, enabling the recovery of (potentially) erroneous pseudo labels, ultimately alleviating the notorious error accumulation problem. We showcase the practical application of LogicDiag in the data-hungry segmentation scenario, where we formalize the structured abstraction of semantic concepts as a set of logic rules. Extensive experiments on three standard semi-supervised semantic segmentation benchmarks demonstrate the effectiveness and generality of LogicDiag. Moreover, LogicDiag highlights the promising opportunities arising from the systematic integration of symbolic reasoning into the prevalent statistical, neural learning approaches.

研究动机与目标

• 解决因不可靠伪标签导致的半监督语义分割中误差累积的问题。
• 将符号知识（以一阶逻辑规则形式表达）整合到神经网络训练中，以提升模型的鲁棒性与可解释性。
• 开发一种诊断推理机制，利用基于逻辑的诊断识别并解决伪标签中的冲突。
• 证明结构化的符号知识（如组合、分解和排除规则）在数据稀缺场景下显著提升模型泛化能力。

提出的方法

• 该框架采用教师-学生训练范式，并通过置信度阈值进行初始伪标签生成。
• 将语义关系（例如，猫 → 动物，动物 ⊥ 车辆）形式化为一阶逻辑规则，以编码关系知识。
• 通过检查模型输出与符号逻辑规则之间的一致性，检测预测冲突。
• 使用模糊逻辑计算诊断似然度，结合预测置信度与冲突严重程度，指导修正过程。
• 通过从可能诊断的后验分布中进行蒙特卡洛采样来解决冲突，实现对错误预测的鲁棒修正。
• 该方法可无缝集成到现有 SSL 框架中，仅需添加分层分类头和逻辑规则注入，修改极少。

实验结果

研究问题

• RQ1 符号逻辑规则能否有效用于检测并纠正伪标签分割输出中的错误？
• RQ2 集成基于逻辑的冲突诊断是否能提升低数据量半监督学习中的性能？
• RQ3 不同类型语义规则（组合、分解和排除）对模型性能的相对贡献如何？
• RQ4 基于模糊逻辑的诊断加权策略与启发式或均匀修正方法相比表现如何？
• RQ5 逻辑驱动的推理在多大程度上能减少迭代自训练中的确认偏误与误差累积？

主要发现

• 在仅使用 1/16 训练标签的 PASCAL VOC 2012 数据集上，LOGICDIAG 相较基线方法实现了 4.15% 的 mIoU 提升。
• 在 Cityscapes 数据集上，该方法在所有标签划分下均实现了平均 1.65% 的 mIoU 提升，展现出在复杂城市场景中的强大泛化能力。
• 在 COCO 数据集上，LOGICDIAG 平均较最先进方法 MKD 提升 2.94% mIoU，凸显其在大规模、分层数据集中的有效性。
• 消融实验表明，三种逻辑规则——组合、分解与排除——均独立贡献性能提升，完整规则集取得最佳效果。
• ‘采样’修正策略（通过蒙特卡洛采样估计后验分布）优于‘均匀’、‘预测’和‘贪心’策略，表明其在避免错误修正方面具有显著优势。
• 训练开销极低，仅增加 4.7% 推理时间，且测试阶段无计算成本，因祖先类别剪枝而实现。