[論文レビュー] Color Constancy by GANs: An Experimental Survey

Partha Das, Anil S. Baslamisli+3 more|arXiv (Cornell University)|Dec 7, 2018

Image Enhancement Techniques参考文献 41被引用数 5

ひとこと要約

本稿では、GANを用いた画像対画像変換タスクとして色の定常性をモデル化することを提案し、ベンチマークデータセット上でPix2Pix、CycleGAN、StarGANを評価している。CycleGANが複数のデータセットで最先端の性能を達成しており、Cubeデータセットでは平均誤差が1.5にまで低下している。また、データセットやシーンタイプに応じたCC-GANアーキテクチャの実用的設計提案を提示している。

ABSTRACT

In this paper, we formulate the color constancy task as an image-to-image translation problem using GANs. By conducting a large set of experiments on different datasets, an experimental survey is provided on the use of different types of GANs to solve for color constancy i.e. CC-GANs (Color Constancy GANs). Based on the experimental review, recommendations are given for the design of CC-GAN architectures based on different criteria, circumstances and datasets.

研究の動機と目的

• コンピュータビジョンにおける色の定常性の課題に、GANを用いた画像対画像変換問題としてアプローチすること。
• 色の定常性タスクにおける異なるGANアーキテクチャ（Pix2Pix、CycleGAN、StarGAN）の有効性と一般化能力を評価すること。
• さまざまなデータセットやシーンタイプにおける性能のばらつきを分析し、各GANアーキテクチャの強みと限界を特定すること。
• データセットの特性と応用シナリオに基づいて、将来のCC-GANアーキテクチャの設計を支援するデータ駆動型の推奨事項を提示すること。
• GANベースの色の定常性における主な誤差要因を特定し、今後の研究やモデル改善を支援すること。

提案手法

• 色の定常性を画像対画像変換タスクとして定式化：未知の照照明下のRGB画像を、標準（白色）光源下での白バランス調整済みバージョンに変換する。
• 3つの最先端のGANアーキテクチャを採用：Pix2Pix（ペairに依存しない画像変換を実現する条件付きGAN）、CycleGAN（ペアなしデータ向けのサイクル整合性GAN）、StarGAN（1つのモデルで複数ドメインの画像変換を実現）。
• 標準の色の定常性指標（平均誤差、中央値誤差、三角形誤差）を用いて、SFU Gray Ball、ColorChecker RECommended、Cubeの3つのベンチマークデータセット上で、各GANを訓練および評価した。
• 出力された色補正画像の品質を、知覚的品質および色再現性指標を用いて評価し、従来手法および深層学習ベースのベースラインと比較した。
• 一般化性能の向上を図るため、ドメイン適応技術およびデータ拡張を適用した。
• アブレーションスタディを実施し、アーキテクチャの選択、損失関数、トレーニング戦略の影響が性能およびロバストネスに与える影響を分析した。

実験結果

リサーチクエスチョン

• RQ1 異なるGANアーキテクチャ（Pix2Pix、CycleGAN、StarGAN）は、多様なデータセット上で色の定常性タスクにどの程度の性能を示すか？
• RQ2 未知のシーンタイプや照明条件に適用された際、各GANアーキテクチャの一般化能力はいかがなっているか？
• RQ3 どのアーキテクチャ的選択やトレーニング戦略が、GANベースの色の定常性において最もロバストで正確な補正を実現するか？
• RQ4 GANベースの色の定常性における主な誤差要因は何か？ また、それらはデータセットやシーンタイプによってどのように変化するか？
• RQ5 GANベースの手法は、正確性および視覚的品質の面で、従来手法や深層学習ベースの色の定常性アルゴリズムを上回るか、あるいは補完的役割を果たせるか？

主な発見

• CycleGANはCubeデータセットで最も優れた全体的な性能を示し、平均誤差が1.5にまで低下した。これは、Fast Fourier Color Constancy（平均誤差2.0）をも上回っている。
• Pix2PixはSFU Gray Ballデータセット（平均誤差3.6）およびColorChecker RECommendedデータセット（平均誤差1.9）で最低の平均誤差を記録し、制御された高コントラストシーンにおいて優れた性能を示している。
• StarGANは全データセットで最も弱い性能を示し、Cubeデータセットでは平均誤差5.7にとどまり、アーキテクチャの改変なしでは色の定常性に不適切であることが示唆された。
• CycleGANはSFU Gray Ballデータセットでも2番目の結果（平均誤差3.4）を達成し、ColorChecker RECommendedデータセットでは最良の性能（平均誤差1.5）を示しており、多様な照明条件にわたる優れた一般化性能を示している。
• 本研究では、トレーニングデータとテストデータ間のドメインシフトおよび分布シフトが、特にCycleGANおよびStarGANにおいて性能低下の主な要因であると特定した。
• 著者らは、アーキテクチャの選択はデータセットやシーンタイプに応じて指導されなければならないと結論づけ、Pix2Pixは制御された環境で優れた性能を発揮し、CycleGANは実世界の多様な状況において優れたロバストネスを示すと結論づけた。