[論文レビュー] Unsupervised Shadow Removal Using Target Consistency Generative Adversarial Network

Chao Tan, Xin Feng|arXiv (Cornell University)|Oct 3, 2020

Generative Adversarial Networks and Image Synthesis参考文献 53被引用数 5

ひとこと要約

本稿では、教師なしの影除去手法として、対の学習データが不要な一方向のマッピングを学習するためのターゲット一貫性制約を用いた新しいTC-GANを提案する。入力の影付き画像と生成された影なし出力の間の厳密な相関関係を強制することで、TC-GANは最先端の性能を達成し、従来の教師なし手法よりもFIDで14.9%、KIDで31.5%優れている。また、教師あり手法と同等の品質を達成している。

ABSTRACT

Unsupervised shadow removal aims to learn a non-linear function to map the original image from shadow domain to non-shadow domain in the absence of paired shadow and non-shadow data. In this paper, we develop a simple yet efficient target-consistency generative adversarial network (TC-GAN) for the shadow removal task in the unsupervised manner. Compared with the bidirectional mapping in cycle-consistency GAN based methods for shadow removal, TC-GAN tries to learn a one-sided mapping to cast shadow images into shadow-free ones. With the proposed target-consistency constraint, the correlations between shadow images and the output shadow-free image are strictly confined. Extensive comparison experiments results show that TC-GAN outperforms the state-of-the-art unsupervised shadow removal methods by 14.9% in terms of FID and 31.5% in terms of KID. It is rather remarkable that TC-GAN achieves comparable performance with supervised shadow removal methods.

研究の動機と目的

• 影除去における対の影付き・影なし学習データの欠如に対処すること。
• 入力の影付き画像とその生成された影なし類似物との間の強い一貫性を強制することで、教師なし影除去の性能を向上させること。
• 双方向のサイクル一貫性アプローチと比較して、より効率的な一方向マッピングメカニズムを開発すること。
• 教師あり影除去手法と同等の性能を達成し、真のペアデータを一切必要としないこと。

提案手法

• 影付き画像から影なし画像への一方向マッピングを学習するターゲット一貫性生成対抗ネットワーク（TC-GAN）を提案する。
• 入力の影付き画像と生成された影なし出力との間の強い相関関係を強制するためのターゲット一貫性制約を導入する。
• 判別器は、実際の影なし画像と生成画像を区別する一方、生成器はターゲット一貫性制約下での再構成誤差を最小化する。
• 双方向マッピングを必要としないサイクル一貫性フリーな学習戦略を採用する。
• 視覚的損失を用いた対抗学習により、画像の詳細と現実性を保持する。
• 対抗損失、視覚的損失、ターゲット一貫性損失の組み合わせを最適化することで生成器を最適化する。

実験結果

リサーチクエスチョン

• RQ1 一方向マッピングにターゲット一貫性を適用することで、双方向サイクル一貫性GANよりも優れた影除去性能を達成できるか？
• RQ2 ターゲット一貫性制約は、教師なし影除去における画像構造の保持とドメインシフトの低減にどの程度効果的か？
• RQ3 教師なし手法が、どの程度教師あり影除去手法の性能に近づけるか？
• RQ4 提案されたTC-GANは、多様な影の種類と実世界の画像に一般化してうまく機能するか？

主な発見

• TC-GANは、従来の教師なしSOTA手法よりもFréchet Inception Distance（FID）で14.9%の向上を達成した。
• Kernel Inception Distance（KID）で31.5%の改善があり、画像分布の一致度が優れていることが示された。
• ペアデータを一切使用しないにもかかわらず、TC-GANは教師あり影除去手法と同等の性能を達成した。
• ターゲット一貫性制約により、入力の影付き画像と生成出力との間の特徴レベルの一致が顕著に向上した。
• アブレーションスタディにより、ターゲット一貫性損失が、特にテクスチャおよび色の忠実度を保持するうえで性能向上に不可欠であることが確認された。