[論文レビュー] Trash or Treasure? An Interactive Dual-Stream Strategy for Single Image Reflection Separation

Qiming Hu, Xiaojie Guo|arXiv (Cornell University)|Oct 20, 2021

Sparse and Compressive Sensing Techniques被引用数 16

ひとこと要約

本論文は、単一画像の反射分離（SIRS）のための新規でインタラクティブな二重ストリーム戦略YTMT（Your Trash Is My Treasure）を提案する。この手法は、ReLUによって無効化された（「ごみ」とされる）特徴を他方のストリームに再利用することで、透過と反射の両ブランチ間の特徴交換を強化する。本手法は、複数のSIRSベンチマークにおいて、最小限のアーキテクチャ変更で性能を著しく向上させるとともに、学習収束を加速する。

ABSTRACT

Single image reflection separation (SIRS), as a representative blind source separation task, aims to recover two layers, $ extit{i.e.}$, transmission and reflection, from one mixed observation, which is challenging due to the highly ill-posed nature. Existing deep learning based solutions typically restore the target layers individually, or with some concerns at the end of the output, barely taking into account the interaction across the two streams/branches. In order to utilize information more efficiently, this work presents a general yet simple interactive strategy, namely $ extit{your trash is my treasure}$ (YTMT), for constructing dual-stream decomposition networks. To be specific, we explicitly enforce the two streams to communicate with each other block-wisely. Inspired by the additive property between the two components, the interactive path can be easily built via transferring, instead of discarding, deactivated information by the ReLU rectifier from one stream to the other. Both ablation studies and experimental results on widely-used SIRS datasets are conducted to demonstrate the efficacy of YTMT, and reveal its superiority over other state-of-the-art alternatives. The implementation is quite simple and our code is publicly available at $\href{https://github.com/mingcv/YTMT-Strategy}{ extit{https://github.com/mingcv/YTMT-Strategy}}$.

研究の動機と目的

• 単一画像の反射分離（SIRS）の不適切な定式化問題に対処するため、透過と反射の両ブランチ間の特徴連携を向上させること。
• 深層二重ストリームネットワークにおける情報損失とデッドReLU問題を、新規な特徴交換メカニズムによって軽減すること。
• モデルの複雑さを増さずに、一般性があり、単純かつ効果的な戦略を開発すること。
• アブレーションおよび比較研究を通じて、広く用いられるSIRSデータセットにおいて提案手法の有効性を示すこと。

提案手法

• YTMT戦略は、二重ブランチネットワークの両ストリーム間でブロック単位の通信を明示的に可能にする。具体的には、一方のストリームからReLUによって無効化された特徴を他方のストリームに再ルーティングする。
• ReLU後に負の活性化を示す特徴を破棄する代わりに、本手法はそれらを他方のストリームにとっての潜在的「宝物」として扱い、有用な情報を保持する。
• 本手法は、プレーンアーキテクチャおよびU-Netアーキテクチャの両方と互換性を持つ2つのオプションのYTMTブロック—YTMT-UCSおよびYTMT-UCT—を介して実装される。
• 本手法は、分解の加法的性質 $ I = T + R $ を活用し、残差誤差 $ Q $ を $ \hat{T} $ と $ \hat{R} $ の間で再分配することで、推定値の改善を図る。
• 相互作用は、一方のストリームから出力された負のReLU出力（無効化された特徴）を他方のストリームに転送することで実現され、補完的学習が可能になる。
• 設計はモジュラで柔軟であり、最小限の変更でさまざまなバックボーンアーキテクチャに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 無効化された特徴を破棄するのではなく再利用することで、SIRSにおける二重ストリームネットワーク間の連携を向上させることができるか？
• RQ2 一方のストリームから無効化されたReLU特徴を他方のストリームに再ルーティングすることで、反射分離の性能向上と収束速度の向上が達成できるか？
• RQ3 標準的な二重ストリームネットワーク（特徴連携なし、または正のReLU整流子のみ）と比較して、YTMT戦略はどのように差をつけるか？
• RQ4 YTMT戦略は、さまざまなネットワークアーキテクチャ（例：プレーンU-Net）およびデータセットに一般化可能か？
• RQ5 YTMT戦略は、SIRSタスクにおける学習ダイナミクスとモデル一般化能力にどのような影響を与えるか？

主な発見

• YTMT-UCTは、すべてのデータセットで最高の全体的性能を達成し、ObjectsデータセットではPSNRが25.40、Wildデータセットでは25.46を記録した。
• YTMT-UCTバリアントは、すべてのベンチマークデータセットでIBCLN、ERRNet、BDN、Zhangら[44]を上回り、Objectsデータセットでは最高のSSIM 0.899を達成した。
• アブレーションスタディにより、YTMTによる特徴連携が、連携なしのベースライン二重ストリームU-Net（Objectsデータセット：PSNR 23.85 対 24.58）と比較して顕著に性能を向上させることを確認した。
• 負のReLUを標準ReLUに置き換えると性能が低下した（Objectsデータセット：PSNR 24.06 対 24.58）、これはYTMTの特徴再利用が不可欠であることを証明した。
• YTMT戦略は学習誤差の低下を加速し、非インタラクティブまたは標準ReLUベースのモデルと比較して、より速い収束を示した。
• 本手法は、Real20、Objects、Postcard、Wildといった多様なデータセットで一貫した優位性を示し、そのロバストネスと一般化能力を確認した。