[論文レビュー] Closing the Loop: Joint Rain Generation and Removal via Disentangled Image Translation

Yuntong Ye, Yi Chang+2 more|arXiv (Cornell University)|Mar 25, 2021

Image Enhancement Techniques参考文献 41被引用数 6

ひとこと要約

本稿では、合成雨と実際の雨の間のドメインギャップを埋めるために、分離可能な画像変換を用いた雨の生成と除去の統合フレームワークを提案する。雨の画像を綺麗な背景と雨の層に分解することで、サイクル整合性と adversarial 損失を用いた双方向変換が可能となり、実世界の雨への一般化性能が著しく向上し、アイデンティティを保持するとともに自然な結果を生成する。

ABSTRACT

Existing deep learning-based image deraining methods have achieved promising performance for synthetic rainy images, typically rely on the pairs of sharp images and simulated rainy counterparts. However, these methods suffer from significant performance drop when facing the real rain, because of the huge gap between the simplified synthetic rain and the complex real rain. In this work, we argue that the rain generation and removal are the two sides of the same coin and should be tightly coupled. To close the loop, we propose to jointly learn real rain generation and removal procedure within a unified disentangled image translation framework. Specifically, we propose a bidirectional disentangled translation network, in which each unidirectional network contains two loops of joint rain generation and removal for both the real and synthetic rain image, respectively. Meanwhile, we enforce the disentanglement strategy by decomposing the rainy image into a clean background and rain layer (rain removal), in order to better preserve the identity background via both the cycle-consistency loss and adversarial loss, and ease the rain layer translating between the real and synthetic rainy image. A counterpart composition with the entanglement strategy is symmetrically applied for rain generation. Extensive experiments on synthetic and real-world rain datasets show the superiority of proposed method compared to state-of-the-arts.

研究の動機と目的

• 深層学習に基づく雨除去手法における合成雨と実際の雨の間のドメインギャップを解消すること。
• 雨の生成と除去を同時に学習することで、実世界の雨画像への一般化性能を向上させること。
• 綺麗な背景と雨の層に分離することで、雨除去中に背景のアイデンティティを保持すること。
• データから物理的劣化を暗黙的に学習することで、合成雨と実際の雨のギャップを埋めること。
• 生成と除去のタスクを相互に最適化することで、実際の雨に対する性能を向上させること。

提案手法

• 実際の雨と合成雨の両方の変換をカバーする二方向の分離可能な翻訳ネットワークを提案。
• 雨の画像を綺麗な背景と雨の層に分解することで、アイデンティティ保持と雨の変換を分離する。
• サイクル整合性と adversarial 損失を適用し、背景のアイデンティティと現実的な変換を強制する。
• 二段階学習を採用：まず雨除去を行い、その後で雨生成を実施し、閉ループを形成する。
• 雨除去（雨から綺麗な画像へ）と雨生成（綺麗な画像から雨へ）の両方向で、分離を対称的に適用する。
• t-SNE を用いた特徴レベルのアライメントにより、ドメイン間での雨の層の変換が有効に行われていることを検証。

Figure 1: Illustration of rain generation and removal. (a) The hand-crafted simplified rain generation model. (b) Although the simulated rain has been well removed, the huge gap between synthetic training images and real-world testing images leads a significant performance drop in existing learning-

実験結果

リサーチクエスチョン

• RQ1 雨の生成と除去の共同学習が、実世界の雨画像への一般化性能を向上させることができるか？
• RQ2 背景と雨の層を分離することで、アイデンティティ保持と変換品質が向上するか？
• RQ3 双方向変換を持つ統合フレームワークが、合成雨と実際の雨の間のドメインギャップを縮小できるか？
• RQ4 CycleGAN と比較して、本手法は背景の保持と自然な雨の生成において優れているか？
• RQ5 実データから物理的劣化をエンドツーエンドで学習することで、雨除去性能がどの程度向上するか？

主な発見

• 提案手法は、合成雨および実世界の雨データセットの両方で最先端の性能を達成し、既存の SOTA メソッドを上回る。
• モデルは両方向にわたって入力画像を効果的に再構成しており、強いサイクル整合性とアイデンティティ保持を示している。
• t-SNE の可視化により、翻訳後における合成雨と実際の雨の層の特徴が有効にアライメントされていることが確認された。
• CycleGAN と比較して、JRGR は背景を保持しながら雨の層の変換に焦点を当てることで、より自然な結果を生成している。
• 訓練とテストの背景が類似している場合に最も高い性能を発揮しており、ドメイン内での大規模な変動には対応できないことが示唆された。
• 都市部と森林地帯など、背景の特徴が著しく異なる場合に失敗を示しており、包括的なデータセットの必要性が浮き彫りになった。

Figure 2: Overview of the proposed joint rain generation and removal (JRGR) framework. The proposed method consists of synthetic to real (S2R) and real to synthetic (R2S) modules, aiming to bridge the gap between synthetic and real rainy images. Instead of the directly translating, we embed the rain