[论文解读] Densely connected multidilated convolutional networks for dense prediction tasks

Naoya Takahashi, Yuki Mitsufuji|arXiv (Cornell University)|Nov 21, 2020

Speech and Audio Processing参考文献 53被引用 6

一句话总结

本文提出D3Net，一种新颖的CNN架构，通过将密集连接的多分辨率特征学习与一种新型多空洞卷积相结合，实现密集且无混叠的接受感受野扩展。通过将多空洞卷积集成到DenseNet的跳跃连接中，D3Net在图像语义分割（Cityscapes）和音频源分离（MUSDB18）任务中均实现了最先进性能，且参数量更少。

ABSTRACT

Tasks that involve high-resolution dense prediction require a modeling of both local and global patterns in a large input field. Although the local and global structures often depend on each other and their simultaneous modeling is important, many convolutional neural network (CNN)-based approaches interchange representations in different resolutions only a few times. In this paper, we claim the importance of a dense simultaneous modeling of multiresolution representation and propose a novel CNN architecture called densely connected multidilated DenseNet (D3Net). D3Net involves a novel multidilated convolution that has different dilation factors in a single layer to model different resolutions simultaneously. By combining the multidilated convolution with the DenseNet architecture, D3Net incorporates multiresolution learning with an exponentially growing receptive field in almost all layers, while avoiding the aliasing problem that occurs when we naively incorporate the dilated convolution in DenseNet. Experiments on the image semantic segmentation task using Cityscapes and the audio source separation task using MUSDB18 show that the proposed method has superior performance over state-of-the-art methods.

研究动机与目标

• 解决现有CNN在密集预测任务中多分辨率特征交换稀疏的问题。
• 在单一网络架构中实现局部与全局上下文在多个分辨率下的密集、同步建模。
• 通过引入一种新型多空洞卷积层，解决在DenseNet中直接应用空洞卷积时产生的混叠问题。
• 通过增强特征重用与扩展感受野，提升高分辨率密集预测任务（如语义分割与音频源分离）的性能。

提出的方法

• 提出一种新型多空洞卷积层，可在单个卷积层内应用多个膨胀因子，膨胀因子由跳跃连接的来源决定。
• 将多空洞卷积集成到DenseNet风格架构中，实现在所有层间密集的特征流动，同时保持多分辨率表征能力。
• 设计嵌套的多空洞密集块（D2块）架构，重复使用膨胀因子，确保各分辨率下具备足够的深度。
• 使用转置卷积与跳跃连接进行特征上采样和拼接，以保留空间分辨率与上下文信息。
• 在每个卷积层后应用批量归一化与ReLU激活函数，以稳定训练过程并改善梯度流动。
• 在最后几层使用平均池化与全局平均池化进行维度压缩，以实现最终分类或回归任务。

实验结果

研究问题

• RQ1 密集的多分辨率特征学习是否能提升语义分割与音频源分离等密集预测任务的性能？
• RQ2 如何在DenseNet架构中有效集成空洞卷积，而不会引入混叠伪影？
• RQ3 不同分辨率表征之间频繁且密集的信息交换对模型性能有何影响？
• RQ4 所提出的多空洞卷积层在特征质量与任务准确率方面是否优于标准空洞卷积或标准卷积层？

主要发现

• 在MUSDB18音频源分离基准上，D3Net实现了6.01 dB的中位SDR，优于所有先前的最先进方法。
• 在Cityscapes语义分割数据集上，D3Net以显著更少的参数量达到了最先进性能，优于竞争性主干网络。
• 将多空洞卷积替换为标准空洞卷积后，性能仍优于非空洞模型，但所提方法仍表现更优，证实了抗混叠设计的优势。
• 消融实验表明，多空洞卷积显著优于标准空洞卷积，凸显了在DenseNet架构中解决混叠问题的重要性。
• D2块的嵌套结构实现了高效的参数利用，并在所有分辨率下提供了充分的表征能力。
• 该方法在不同领域间表现出强大的泛化能力，在视觉与音频任务中均无需架构修改即可达到顶尖性能。