[论文解读] Two-Dimensional Quantum Material Identification via Self-Attention and Soft-labeling in Deep Learning

Xuan-Bac Nguyen, Apoorva Bisht+4 more|arXiv (Cornell University)|May 31, 2022

Advanced Neural Network Applications被引用 6

一句话总结

本文提出一种基于自注意力机制与软标签的框架，用于提升二维量子材料检测中的实例分割性能，通过自动识别未标注的假阴性样本并利用注意力机制损失降低其梯度影响，从而缓解标注缺失问题。该方法实现了最先进性能，在多种二维材料数据集上，AP50最高提升5%，AP最高提升5.7%。

ABSTRACT

In quantum machine field, detecting two-dimensional (2D) materials in Silicon chips is one of the most critical problems. Instance segmentation can be considered as a potential approach to solve this problem. However, similar to other deep learning methods, the instance segmentation requires a large scale training dataset and high quality annotation in order to achieve a considerable performance. In practice, preparing the training dataset is a challenge since annotators have to deal with a large image, e.g 2K resolution, and extremely dense objects in this problem. In this work, we present a novel method to tackle the problem of missing annotation in instance segmentation in 2D quantum material identification. We propose a new mechanism for automatically detecting false negative objects and an attention based loss strategy to reduce the negative impact of these objects contributing to the overall loss function. We experiment on the 2D material detection datasets, and the experiments show our method outperforms previous works.

研究动机与目标

• 为解决二维量子材料检测中实例分割因标注缺失而限制模型召回率与性能的问题。
• 开发一种端到端可训练机制，自动检测缺乏真实标注的假阴性目标。
• 通过基于注意力机制的损失函数与软标签策略，降低假阴性样本对模型训练的负面影响。
• 利用光学显微镜图像提升二维薄片实例分割的检测准确率与召回率。
• 在包括石墨烯、hBN、MoS2和WTe2在内的多种二维材料上，基于标准COCO指标验证该方法。

提出的方法

• 将自注意力机制集成至区域建议网络中，以可微分、端到端的方式检测标注中缺失的潜在目标，实现假阴性样本的识别。
• 引入基于注意力机制的损失函数，为检测到的假阴性样本分配软标签，从而在反向传播过程中降低其梯度贡献。
• 采用多任务学习框架进行模型训练，使注意力模块与检测头联合优化。
• 该方法处理图像裁剪区域，将其展平为一维数组，并基于颜色分布进行回归，以预测厚度，该结果用于指导软标签生成过程。
• 采用阈值（t = 0.6, 0.8, 0.9）控制假阴性检测的置信度，其中t = 0.8被确定为最优值。
• 使用标准COCO指标（AP50、AP75、AP）在四种二维材料（石墨烯（G）、hBN（BN）、MoS2（M）、WTe2（W））上对框架进行评估。

实验结果

研究问题

• RQ1 自注意力机制是否能在无真实标注的情况下，有效检测光学显微镜图像中的假阴性二维薄片实例？
• RQ2 当训练数据存在标注缺失时，基于注意力机制的软标签损失如何提升模型性能？
• RQ3 在多种二维材料上，使分割性能最大化的假阴性检测置信度最优阈值是多少？
• RQ4 与基线方法及先前最先进方法相比，该方法在提升召回率与平均精度方面达到何种程度的改进？
• RQ5 该方法是否能在具有不同颜色分布与厚度特性的多种二维材料间实现良好泛化？

主要发现

• 在WTe2材料上，该方法相比基线方法将平均精度（AP）提升了5.7%，从55.0提升至61.8。
• 在石墨烯上，当使用t=0.8阈值时，AP50从86.3提升至87.8，AP从72.4提升至75.7。
• 该方法在所有材料上平均精度相比BRL [15] 提升约2%，其中在MoS2上提升最为显著（55.1 vs. 53.7）。
• 检测置信度的最优阈值为t=0.8，该值在所有指标与材料上均取得最高性能。
• 在hBN上进行训练与测试时，该方法将厚度预测误差降低至4.0 nm，为所有测试材料组合中的最低误差。
• 图3的定性结果表明，与基线相比，该模型生成的分割掩码更准确、更完整，尤其在密集薄片区域表现更优。