[論文レビュー] Analogical Image Translation for Fog Generation

Rui Gong, Dengxin Dai+3 more|arXiv (Cornell University)|Jun 28, 2020

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、学習中に実際の曇りガラス画像を必要とせず、合成された晴れ時計の画像から実際の晴れ時計の画像へと曇り効果を転送するゼロショット画像対画像翻訳フレームワーク、アナロジカルイメージトランスレーション（AIT）を提案する。合成されたペアデータに対する教師あり学習、実際のドメインにおけるサイクル整合性、およびドメイン間の adversarial 学習を活用することで、本手法は、現実的な曇り効果を生成する点で最先端の性能を達成し、後続のセマンティックな曇りガラスシーン理解タスクを顕著に改善する。

ABSTRACT

Image-to-image translation is to map images from a given \emph{style} to another given \emph{style}. While exceptionally successful, current methods assume the availability of training images in both source and target domains, which does not always hold in practice. Inspired by humans' reasoning capability of analogy, we propose analogical image translation (AIT). Given images of two styles in the source domain: $\mathcal{A}$ and $\mathcal{A}^\prime$, along with images $\mathcal{B}$ of the first style in the target domain, learn a model to translate $\mathcal{B}$ to $\mathcal{B}^\prime$ in the target domain, such that $\mathcal{A}:\mathcal{A}^\prime ::\mathcal{B}:\mathcal{B}^\prime$. AIT is especially useful for translation scenarios in which training data of one style is hard to obtain but training data of the same two styles in another domain is available. For instance, in the case from normal conditions to extreme, rare conditions, obtaining real training images for the latter case is challenging but obtaining synthetic data for both cases is relatively easy. In this work, we are interested in adding adverse weather effects, more specifically fog effects, to images taken in clear weather. To circumvent the challenge of collecting real foggy images, AIT learns with synthetic clear-weather images, synthetic foggy images and real clear-weather images to add fog effects onto real clear-weather images without seeing any real foggy images during training. AIT achieves this zero-shot image translation capability by coupling a supervised training scheme in the synthetic domain, a cycle consistency strategy in the real domain, an adversarial training scheme between the two domains, and a novel network design. Experiments show the effectiveness of our method for zero-short image translation and its benefit for downstream tasks such as semantic foggy scene understanding.

研究の動機と目的

• 自動運転やシーン理解において、特に曇りガラス画像を含む悪天候条件の実世界データが限られているという課題に対処すること。
• 実際の曇りガラス画像が利用できない状況において、ドメイン間のアナロジカルリーディングを活用してゼロショット画像翻訳を可能にすること。
• 合成された晴れ時計と曇りガラスの画像から学習した翻訳の「要約」を、実際の晴れ時計の画像へと転送し、現実的な曇り効果の合成を実現すること。
• 合成された曇りデータを用いて、悪天候条件下でのセマンティックセグメンテーションモデルのロバスト性を向上させること。

提案手法

• 本手法は、合成された晴れ時計と曇りガラスのペア画像に対する教師あり学習スキームを用いて、翻訳の「要約」を学習する。
• 実際のドメインと合成ドメインの間で adversarial 学習を適用し、実際の晴れ時計画像の分布を、合成された出力と一致させる。
• 実際のドメインでサイクル整合性損失を課し、生成された曇りガラス画像を再び晴れ時計に翻訳した際に、元の画像を保つことを保証する。
• 両ドメインからの特徴を統合する新しいネットワークアーキテクチャを採用し、ゼロショット翻訳のためのドメイン不変表現学習を可能にする。
• リアルさと忠実性を保証するため、adversarial、サイクル整合性、再構成損失を組み合わせて、エンドツーエンドでモデルを訓練する。
• 本手法は、曇り生成を越えて、他のアナロジカル画像翻訳タスクにも一般化可能であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 実際の曇りガラス画像を一度も見ない状況で、モデルが合成された画像から実際の画像へと曇り効果を転送できるか？
• RQ2 ドメイン間のアナロジカルリーディングは、データが少ない状況におけるゼロショット画像翻訳を改善できるか？
• RQ3 合成データから学習した翻訳の「要約」は、実世界の画像翻訳に効果的に一般化できるか？
• RQ4 本手法は、物理ベースおよび GAN ベースの画像生成法と比較して、リアルさと後続タスクのパフォーマンスにおいて優れているか？

主な発見

• AnalogicalGAN は、Foggy Zurich および Foggy Driving ベンチマークの両方で、物理ベースの手法（'Foggy Cityscapes' および 'Foggy Synscapes'）を上回るセマンティックな曇りガラスシーン理解性能を発揮する。
• RefineNet を用いた Foggy Zurich データセットでは、'Foggy Cityscapes' と 'Foggy Synscapes' の混合ベースラインに対して 2.4% の向上を達成する。
• BiseNet を用いた Foggy Driving データセットでは、同じ混合ベースラインに対して 4.7% の向上を達成する。
• RefineNet を用いた場合、AnalogicalGAN は Foggy Driving で 50.3% の mIoU を達成し、最先端の 50.7% と同等の性能を示す。
• すべてのテストセットおよびセグメンテーションネットワークにおいて、CycleGAN や MUNIT と同等または優れた性能を発揮する。
• 'AnalogicalGAN Cityscapes' と 'Foggy Synscapes' を統合することでさらなる性能向上が得られ、本手法の相互運用性とスケーラビリティを示している。