[논문 리뷰] Trash or Treasure? An Interactive Dual-Stream Strategy for Single Image Reflection Separation

Qiming Hu, Xiaojie Guo|arXiv (Cornell University)|2021. 10. 20.

Sparse and Compressive Sensing Techniques인용 수 16

한 줄 요약

이 논문은 단일 이미지 반사 분리(SIRS)를 위한 새로운 상호작용 이중 스트림 전략인 YTMT(Your Trash Is My Treasure)를 제안한다. 이 방법은 ReLU로 비활성화된('쓰레기'로 간주되는) 특징을 다른 스트림으로 이동시켜 유용한 정보('보물')로 활용함으로써 전달 및 반사 브랜치 간의 특징 교환을 향상시킨다. 다양한 SIRS 벤치마크에서 성능이 크게 향상되고 학습 수렴 속도가 빨라지며, 아키텍처 변경을 최소화하면서도 최신 기법들을 능가한다.

ABSTRACT

Single image reflection separation (SIRS), as a representative blind source separation task, aims to recover two layers, $ extit{i.e.}$, transmission and reflection, from one mixed observation, which is challenging due to the highly ill-posed nature. Existing deep learning based solutions typically restore the target layers individually, or with some concerns at the end of the output, barely taking into account the interaction across the two streams/branches. In order to utilize information more efficiently, this work presents a general yet simple interactive strategy, namely $ extit{your trash is my treasure}$ (YTMT), for constructing dual-stream decomposition networks. To be specific, we explicitly enforce the two streams to communicate with each other block-wisely. Inspired by the additive property between the two components, the interactive path can be easily built via transferring, instead of discarding, deactivated information by the ReLU rectifier from one stream to the other. Both ablation studies and experimental results on widely-used SIRS datasets are conducted to demonstrate the efficacy of YTMT, and reveal its superiority over other state-of-the-art alternatives. The implementation is quite simple and our code is publicly available at $\href{https://github.com/mingcv/YTMT-Strategy}{ extit{https://github.com/mingcv/YTMT-Strategy}}$.

연구 동기 및 목표

• 단일 이미지 반사 분리(SIRS)의 정의되지 않은 성격을 해결하기 위해 전달 및 반사 브랜치 간의 특징 상호작용을 향상시키는 것.
• 깊이 있는 이중 스트림 네트워크에서의 정보 손실과 사라진 ReLU 문제를 새로운 특징 교환 메커니즘을 통해 완화하는 것.
• 모델 복잡도를 증가시키지 않으면서도 일반적이고 단순하며 효과적인 전략을 개발하는 것.
• 다양한 SIRS 데이터셋에서의 실험적 분석과 추론 연구를 통해 제안된 방법의 유효성을 입증하는 것.

제안 방법

• YTMT 전략은 이중 브랜치 네트워크에서 한 스트림의 ReLU 비활성화 특징을 다른 스트림으로 이동시켜 블록 단위의 통신을 명시적으로 가능하게 한다.
• ReLU 이후 음성 활성화를 가진 특징을 기각하는 대신, 이 방법은 이를 다른 스트림의 잠재적 '보물'로 간주하여 유용한 정보를 유지한다.
• 이 방법은 일반형 및 U-Net 아키텍처와 호환되는 두 가지 선택적 YTMT 블록—YTMT-UCS 및 YTMT-UCT—를 통해 구현된다.
• 분해식 $ I = T + R $ 의 덧셈 성질을 활용하여 잔차 오차 $ Q $ 를 $ \hat{T} $ 와 $ \hat{R} $ 간에 재분배함으로써 추정치를 향상시킨다.
• 특징 상호작용은 한 스트림에서 비활성화된 음성 ReLU 출력을 다른 스트림으로 이동시켜 보완적 학습을 가능하게 한다.
• 설계는 모듈식이며 유연하여 다양한 백본 아키텍처에 최소한의 수정으로 통합할 수 있다.

실험 결과

연구 질문

• RQ1 비활성화된 특징을 기각하는 대신 재활용함으로써 SIRS에서 이중 스트림 네트워크 간의 상호작용을 향상시킬 수 있는가?
• RQ2 한 스트림에서 비활성화된 ReLU 특징을 다른 스트림으로 이동시키는 것이 반사 분리 성능 향상과 더 빠른 수렴 속도를 이끌어낼 수 있는가?
• RQ3 YTMT 전략은 특징 상호작용이 없는 표준 이중 스트림 네트워크 또는 단순히 양성 ReLU 정규화만을 사용하는 경우와 비교해 어떻게 성능을 냅니다?
• RQ4 YTMT 전략은 다양한 네트워크 아키텍처(예: 일반 U-Net)와 데이터셋에 일반화될 수 있는가?
• RQ5 YTMT 전략은 SIRS 작업에서 학습 동역학과 모델 일반화에 어떤 영향을 미치는가?

주요 결과

• YTMT-UCT는 모든 데이터셋에서 최고의 전체 성능을 기록했으며, Objects 데이터셋에서 PSNR 25.40, Wild 데이터셋에서 PSNR 25.46을 기록했다.
• YTMT-UCT 버전은 모든 벤치마크 데이터셋에서 IBCLN, ERRNet, BDN 및 Zhang et al. [44]를 모두 능가했으며, Objects 데이터셋에서 최고의 SSIM 0.899를 기록했다.
• 추론 연구를 통해 YTMT를 통한 특징 상호작용이 상호작용이 없는 기준 이중 스트림 U-Net 대비 성능 향상이 뚜렷하게 확인되었으며, Objects 데이터셋에서 PSNR 23.85 대비 24.58을 기록했다.
• 음성 ReLU를 표준 ReLU로 대체하면 성능이 저하되었으며(Objects 데이터셋에서 PSNR 24.06 대비 24.58), 이는 YTMT의 특징 재활용 전략이 필수적임을 증명했다.
• YTMT 전략은 학습 오차 감소 속도를 가속화하여, 상호작용이 없는 또는 표준 ReLU 기반 모델 대비 더 빠른 수렴을 보였다.
• 다양한 데이터셋(Real20, Objects, Postcard, Wild)에서 일관된 우수성을 보이며, 이는 강건성과 일반화 능력을 확인시켰다.