[论文解读] Deep Transparent Prediction through Latent Representation Analysis

Dimitrios Kollias, N. Bouas+7 more|arXiv (Cornell University)|Sep 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 33被引用 39

一句话总结

一个新的框架从训练好的深度神经网络中提取潜在表示，将它们聚类为简洁中心，以实现透明、统一的预测，并扩展到跨多源领域自适应，涵盖帕金森病成像、COVID-19 成像以及零售包装质量检查。

ABSTRACT

The paper presents a novel deep learning approach, which extracts latent information from trained Deep Neural Networks (DNNs) and derives concise representations that are analyzed in an effective, unified way for prediction purposes. It is well known that DNNs are capable of analyzing complex data; however, they lack transparency in their decision making, in the sense that it is not straightforward to justify their prediction, or to visualize the features on which the decision was based. Moreover, they generally require large amounts of data in order to learn and become able to adapt to different environments. This makes their use difficult in healthcare, where trust and personalization are key issues. Transparency combined with high prediction accuracy are the targeted goals of the proposed approach. It includes both supervised DNN training and unsupervised learning of latent variables extracted from the trained DNNs. Domain Adaptation from multiple sources is also presented as an extension, where the extracted latent variable representations are used to generate predictions in other, non-annotated, environments. Successful application is illustrated through a large experimental study in various fields: prediction of Parkinson's disease from MRI and DaTScans; prediction of COVID-19 and pneumonia from CT scans and X-rays; optical character verification in retail food packaging.

研究动机与目标

• 在医疗保健及其他领域中，阐明从 DNN 获得透明、准确预测的需求。
• 开发一种从训练好的 DNN 提取潜变量并将其转换为简洁、可解释的表征的方法。
• 通过聚类潜在表示并采用最近质心决策规则，创建统一的预测模型。
• 通过多源域自适应扩展该方法，以便在非标注、多样化环境中进行预测。
• 在帕金森病 MRI/DaT 扫描、COVID-19 CT/X 射线成像检测以及食品包装中的光学字符验证（OCV）等任务上演示该框架。

提出的方法

• 训练一个 CNN 或 CNN-RNN，从图像数据预测疾病状态。
• 从最后一层全连接层或隐藏层提取高层输出作为潜在向量 v。
• 对 V_s 应用 k 均值聚类，得到 L 个簇及中心 c(i)，形成简洁表示 C。
• 通过最近簇中心在 C 上对新样本进行分类，实现高效、透明的预测，并配有相应的视觉/标注支持。
• 通过在额外数据集的 V_s 表示上训练一个新 DNN，将 C 与 C' 合并以处理灾难性遗忘，形成统一模型。
• 在多源自适应扩展中，最小化特征差异（MMD 与 CORAL）和跨 N 个源的类别差异，并提供 CAM 可视化以提升可解释性。

实验结果

研究问题

• RQ1 如何将从训练好的 DNN 提取的潜在表示转化为简洁、可解释的预测表示？
• RQ2 通过聚类潜在特征并在多数据集上使用最近邻决策，是否可以构建一个统一、透明的预测模型？
• RQ3 多源带标注数据的域自适应在对非标注、全新环境中的预测方面有多大效果？
• RQ4 得到的以簇中心为核心的表示在多大程度上为领域专家提供可操作、可解释的解释？
• RQ5 所提出框架对现实世界的医学成像任务（如帕金森病和 COVID-19 检测）以及非医疗任务（如光学字符验证）有怎样的影响？

主要发现

结构	FC	隐藏	FC 中的单元	隐藏中的单元	准确率 (%)
CNN	2	-	2622-1500	-	94
CNN-RNN	1	2	1500	128-128	98

• 在帕金森病预测方面，CNN-RNN 在希腊语/PPMI DaTscan+MRI 数据集上达到 98% 的准确率，五个簇构成了 C（两个 NPD，三个 PD 进展中心）。
• 通过合并 C 与 C' 所带来的统一表示在跨数据集应用时保持了高预测性能（例如 PD/NPD 分类仍然准确）。
• 对于 COVID-19 CT 检測，32 维表示，五个簇的 F1 值为 0.842 总体（非 COVID 为 0.855，COVID 为 0.828），优于基线基于 EfficientNet 的结果。
• 使用相同方法对胸部 X 线与 COVID-19 数据集进行融合，在五个簇下达成 F1 = 0.96，超越同类设置下的前沿网络性能。
• 在食品包装光学字符验证中，多源域自适应将准确率提升超过 6 个百分点（90.53% 比 84.14%）。
• 论文通过将簇中心与代表性医学图像及专家标注相关联，展示了透明的预测，便于信任与基于标注的验证。