[论文解读] Disentangled Latent Transformer for Interpretable Monocular Height Estimation

Zhitong Xiong, Sining Chen+2 more|arXiv (Cornell University)|Jan 17, 2022

Video Surveillance and Tracking Methods被引用 6

一句话总结

本文提出了一种解耦潜在变换器（DLT）网络，用于可解释的单目高度估计（MHE），通过多层次分析——神经元、实例和显著性分析——揭示深度网络如何学习语义和高度选择性表征。DLT 模型在高度估计和无监督语义分割任务中均达到最先进性能，显著优于现有方法，同时提升了模型可解释性并降低了计算成本。

ABSTRACT

Monocular height estimation (MHE) from remote sensing imagery has high potential in generating 3D city models efficiently for a quick response to natural disasters. Most existing works pursue higher performance. However, there is little research exploring the interpretability of MHE networks. In this paper, we target at exploring how deep neural networks predict height from a single monocular image. Towards a comprehensive understanding of MHE networks, we propose to interpret them from multiple levels: 1) Neurons: unit-level dissection. Exploring the semantic and height selectivity of the learned internal deep representations; 2) Instances: object-level interpretation. Studying the effects of different semantic classes, scales, and spatial contexts on height estimation; 3) Attribution: pixel-level analysis. Understanding which input pixels are important for the height estimation. Based on the multi-level interpretation, a disentangled latent Transformer network is proposed towards a more compact, reliable, and explainable deep model for monocular height estimation. Furthermore, a novel unsupervised semantic segmentation task based on height estimation is first introduced in this work. Additionally, we also construct a new dataset for joint semantic segmentation and height estimation. Our work provides novel insights for both understanding and designing MHE models.

研究动机与目标

• 通过在多个层次分析表征，理解深度神经网络如何从单目遥感图像中预测高度。
• 提升单目高度估计（MHE）任务中的模型可解释性，该任务对灾害响应和城市监测至关重要。
• 通过利用解耦表征，设计一种更紧凑、更可靠且可解释的深度学习模型用于 MHE。
• 提出一种新颖的无监督语义分割任务，利用高度图作为弱监督信号，减少对昂贵像素级标注的依赖。
• 发布一个用于联合语义分割与高度估计的新基准数据集，以推动该领域发展。

提出的方法

• 提出一个多层级解释框架：在神经元层级进行解剖分析以研究隐藏单元的选择性，在实例层级分析以评估语义类别、尺度和空间上下文的影响，在像素层级利用显著性分析识别重要输入特征。
• 设计一种解耦潜在变换器（DLT）架构，显式分离语义类别和高度范围的表征，从而提升可解释性和模型效率。
• 引入一种新颖的无监督语义分割头，利用高度图作为监督信号进行训练，实现无需人工标注的弱监督学习。
• 采用自监督对比学习策略，在潜在空间中学习解耦表征，提升泛化能力和鲁棒性。
• 采用 Swin Transformer 块作为主干网络，并应用知识蒸馏将模型压缩为更小、更高效的变体，同时保持极小的精度损失。
• 构建了一个新数据集 WDC，整合了语义分割与高度估计的标注，用于训练与评估。

实验结果

研究问题

• RQ1 MHE 网络中的单个神经元如何响应不同的语义对象和高度范围？
• RQ2 哪些因素——如对象类别、尺度或空间上下文——对高度预测性能影响最大？
• RQ3 我们能否设计一种在单目高度估计任务中既准确又可解释的深度学习模型？
• RQ4 高度图在多大程度上可作为遥感图像中无监督语义分割的弱监督信号？
• RQ5 与标准变换器或卷积神经网络相比，解耦潜在表征在多大程度上提升了模型性能和可解释性？

主要发现

• DLT 模型在高度估计任务中达到最先进性能，显著优于基于 CNN 的 UNet 模型，并与 Swin Transformer 基线模型相当或更优。
• 所提出的 DLT 模型将 WDC 数据集上无监督语义分割的 IoU 分数从 0.157（IIC）提升至 0.306，显著优于 MaskContrast、PiCIE 和 IIC。
• MHE 网络中的隐藏单元对语义类别（如建筑物、树木、道路）和高度范围均表现出强烈的响应选择性，表明其内部存在解耦表征。
• 语义类别、物体尺度和空间上下文是影响预测精度的主要因素，对分布外检测性能有显著影响。
• 解耦潜在设计使得 16 单元的 DLT 变体在保持高精度的同时显著降低计算复杂度，体现了模型的紧凑性。
• 该模型可通过类别选择性神经元激活实现有效的分布外检测，提升了在风险敏感应用中的可靠性。