[论文解读] Trash or Treasure? An Interactive Dual-Stream Strategy for Single Image Reflection Separation

Qiming Hu, Xiaojie Guo|arXiv (Cornell University)|Oct 20, 2021

Sparse and Compressive Sensing Techniques被引用 16

一句话总结

本文提出 YTMT（Your Trash Is My Treasure），一种新颖的交互式双流策略，用于单图像去反射（SIRS），通过将 ReLU 激活后被抑制的特征（“垃圾”）重新定向至另一分支作为有用信息（“宝藏”），增强透射分支与反射分支之间的特征交互。该方法在多个 SIRS 基准上显著提升性能并加速训练收敛，仅通过极少的网络结构改动即超越了当前最先进方法。

ABSTRACT

Single image reflection separation (SIRS), as a representative blind source separation task, aims to recover two layers, $ extit{i.e.}$, transmission and reflection, from one mixed observation, which is challenging due to the highly ill-posed nature. Existing deep learning based solutions typically restore the target layers individually, or with some concerns at the end of the output, barely taking into account the interaction across the two streams/branches. In order to utilize information more efficiently, this work presents a general yet simple interactive strategy, namely $ extit{your trash is my treasure}$ (YTMT), for constructing dual-stream decomposition networks. To be specific, we explicitly enforce the two streams to communicate with each other block-wisely. Inspired by the additive property between the two components, the interactive path can be easily built via transferring, instead of discarding, deactivated information by the ReLU rectifier from one stream to the other. Both ablation studies and experimental results on widely-used SIRS datasets are conducted to demonstrate the efficacy of YTMT, and reveal its superiority over other state-of-the-art alternatives. The implementation is quite simple and our code is publicly available at $\href{https://github.com/mingcv/YTMT-Strategy}{ extit{https://github.com/mingcv/YTMT-Strategy}}$.

研究动机与目标

• 通过改进透射分支与反射分支之间的特征交互，解决单图像去反射（SIRS）问题的病态性质。
• 通过一种新颖的特征交换机制，缓解深度双流网络中的信息丢失与死 ReLU 问题。
• 开发一种通用、简单且高效的策略，在不增加模型复杂度的前提下提升性能。
• 通过消融实验与对比研究，在广泛使用的 SIRS 数据集上验证所提方法的有效性。

提出的方法

• YTMT 策略通过将一个分支中 ReLU 激活后被抑制的特征重新定向至另一分支，显式实现双分支网络中块级的通信。
• 该方法不再丢弃 ReLU 激活后为负的特征，而是将其视为另一分支潜在的“宝藏”，以保留有用信息。
• 该方法通过两种可选的 YTMT 模块实现——YTMT-UCS 与 YTMT-UCT，兼容普通结构与 U-Net 架构。
• 该方法利用分解式 $ I = T + R $ 的加法性质，允许残差误差 $ Q $ 在 $ \hat{T} $ 与 $ \hat{R} $ 之间重新分配，以改善估计结果。
• 通过将一个分支中负的 ReLU 输出（被抑制的特征）传递至另一分支，实现互补学习。
• 该设计模块化且灵活，可仅通过极少修改集成至多种主干网络架构中。

实验结果

研究问题

• RQ1 通过重用被抑制的特征而非丢弃它们，能否改善 SIRS 中双流网络之间的交互？
• RQ2 将一个分支中 ReLU 激活后被抑制的特征重新定向至另一分支，是否能带来更好的性能表现与更快的收敛速度？
• RQ3 YTMT 策略与无特征交互或仅使用正 ReLU 修正的常规双流网络相比表现如何？
• RQ4 YTMT 策略能否在不同网络架构（如普通 U-Net）与数据集上实现泛化？
• RQ5 YTMT 策略对 SIRS 任务中的训练动态与模型泛化能力有何影响？

主要发现

• YTMT-UCT 在所有数据集上均取得最佳整体性能，其中在 Objects 数据集上 PSNR 达 25.40，在 Wild 数据集上达 25.46。
• YTMT-UCT 在所有基准数据集上均优于 IBCLN、ERRNet、BDN 与 Zhang et al. [44]，在 Objects 数据集上 SSIM 达到最高值 0.899。
• 消融实验证实，通过 YTMT 实现的特征交互显著优于无交互的基线双流 U-Net（在 Objects 数据集上 PSNR 为 23.85 vs. 24.58）。
• 将负 ReLU 替换为标准 ReLU 会降低性能（在 Objects 数据集上 PSNR 为 24.06 vs. 24.58），证明 YTMT 的特征重用机制至关重要。
• YTMT 策略显著加速了训练误差的下降，相比非交互或基于标准 ReLU 的模型展现出更快的收敛速度。
• 该方法在多种数据集（Real20、Objects、Postcard、Wild）上均表现出一致的优越性，证实其鲁棒性与泛化能力。