[论文解读] Integration of Physics-Based and Data-Driven Models for Hyperspectral Image Unmixing

Jie Chen, Min Zhao+3 more|arXiv (Cornell University)|Jun 11, 2022

Remote-Sensing Image Classification被引用 4

一句话总结

本文提出了一种统一的优化框架，用于在高光谱图像解混中整合基于物理的模型与数据驱动模型，利用带有物理约束的深度神经网络、通过卷积层实现的空间建模以及学习到的度量损失。该方法在提升解混精度和可解释性的同时，解决了纯黑箱深度学习或过度简化的物理模型的局限性。

ABSTRACT

Spectral unmixing is one of the most important quantitative analysis tasks in hyperspectral data processing. Conventional physics-based models are characterized by clear interpretation. However they may not be suitable for analyzing scenes with unknown complex physical characteristics. Data-driven methods have developed rapidly in recent years, in particular deep learning methods because they possess superior capability in modeling complex and nonlinear systems. Simply transferring these methods as black-boxes to conduct unmixing may lead to low physical interpretability and generalization ability. This article reviews hyperspectral unmixing works that integrate advantages of both physics-based models and data-driven methods by means of deep neural network structures design, prior design and loss design. Most of these methods derive from a common mathematical optimization framework, and combine good interpretability with high accuracy.

研究动机与目标

• 解决纯基于物理的方法的局限性，这些方法由于假设过于简化，在复杂真实场景中表现不佳。
• 克服黑箱数据驱动深度学习模型在高光谱解混中可解释性差和泛化能力弱的问题。
• 开发一个统一框架，结合基于物理模型的可解释性与深度学习的非线性建模能力。
• 通过统一的优化公式整合空间相关性、物理混合机制和数据驱动先验，提升解混性能。
• 系统性地回顾并分析近期混合解混方法的进展，提供公开代码以支持可复现性与进一步研究。

提出的方法

• 将高光谱解混建模为联合优化问题，结合物理混合模型（如线性或非线性混合）与深度神经网络（DNN）组件。
• 将基于物理的模型集成到深度自编码器的解码器架构中，以确保学习到的端元和丰度具有物理合理性。
• 使用卷积神经网络（CNN）层捕捉相邻像素之间的空间相关性，改善丰度图的正则化效果。
• 引入深度度量学习损失（如SAD、SID、感知损失、Wasserstein距离），以保留图像的内在结构并提升特征表示能力。
• 应用结构化正则化项（如ℓ1、ℓ2,1或ℓ1/2）于丰度向量，以促进稀疏性与物理一致性。
• 利用即插即用先验和注意力机制，动态平衡复杂场景中多个混合模型的贡献。

实验结果

研究问题

• RQ1 如何有效将基于物理的混合模型嵌入深度神经网络架构中，以在高光谱解混中保持物理可解释性？
• RQ2 空间先验和卷积层在提升数据驱动解混中丰度图的质量与平滑性方面发挥什么作用？
• RQ3 不同深度度量学习损失（如SAD、感知损失、对抗损失）在保持光谱与结构保真度方面有何比较优势？
• RQ4 结合自编码器、即插即用先验和多种损失函数的混合模型是否能超越单一方法实现更优性能？
• RQ5 当多个混合模型共存于复杂真实场景时，模型选择与泛化面临哪些关键挑战？

主要发现

• 将基于物理的模型集成到深度网络解码器中，能够在保持物理可解释性的同时，准确建模复杂的光谱混合机制。
• 卷积层有效利用了空间相关性，使丰度图更加平滑且更逼真，尤其在同质区域表现更优。
• 结合多种损失函数（如MSE、SAD、SID和感知损失）相比单一损失方法，显著提升了解混精度与结构保真度。
• 合理的网络参数初始化可加速收敛，并降低训练过程中参数溢出的风险。
• 通过注意力机制与多分支架构，模型能够动态适应复杂场景中的不同混合模型，提升鲁棒性。
• 尽管已有进展，但由于缺乏真实标签数据，性能评估仍面临挑战，且面向实时部署的快速高效实现仍有待完善。