[論文レビュー] Image-to-Image Translation: Methods and Applications

Yingxue Pang, Jianxin Lin+2 more|arXiv (Cornell University)|Jan 21, 2021

Generative Adversarial Networks and Image Synthesis参考文献 248被引用数 19

ひとこと要約

本論文は、画像対画像翻訳（I2I）手法について包括的なサーベイを提供しており、VAE や GAN などの生成モデル、二ドメインおよびマルチドメイン翻訳タスク、およびスタイル転送、画像修復、医療画像処理などの多様な応用をカバーしている。主な手法的進展を特定し、効率性、解像度、異種モダリティへの一般化といった未解決の課題を提示している。

ABSTRACT

Image-to-image translation (I2I) aims to transfer images from a source domain to a target domain while preserving the content representations. I2I has drawn increasing attention and made tremendous progress in recent years because of its wide range of applications in many computer vision and image processing problems, such as image synthesis, segmentation, style transfer, restoration, and pose estimation. In this paper, we provide an overview of the I2I works developed in recent years. We will analyze the key techniques of the existing I2I works and clarify the main progress the community has made. Additionally, we will elaborate on the effect of I2I on the research and industry community and point out remaining challenges in related fields.

研究の動機と目的

• 近年の画像対画像翻訳（I2I）技術における進展を体系的かつ包括的に概説すること。
• I2I手法を二ドメインタスクとマルチドメインタスクに分類し、それらの技術的差異と進展を明確にすること。
• コンピュータビジョン、グラフィックス、医療画像処理におけるI2I応用の包括的分類を提示すること。
• I2Iの研究および産業分野への影響を評価し、実用的価値と限界を強調すること。
• モデルの効率性、解像度の忠実度、非画像モダリティへの一般化といった分野における未解決の課題を特定すること。

提案手法

• 本論文は、画像対画像翻訳の基盤をなす2つの主要な生成モデル、すなわち変分オートエンコーダー（VAEs）と生成対抗ネットワーク（GANs）をサーベイしている。
• I2Iを、写真からスケッチへの翻訳や写真からコマicsトゥーンへの翻訳といった二ドメインタスク、および複数の芸術的スタイルへの翻訳といったマルチドメインタスクに分類している。
• 教師あり、教師なし、半教師あり、少数ショット学習のI2I学習パラダイムを分析し、それぞれの訓練目的と制約を強調している。
• FID、LPIPS、SSIM といった標準的な指標を用いてI2I手法の性能を評価しており、これらは画像品質、知覚的類似性、構造的忠実度を評価する。
• 応用を機能的カテゴリーに分類して整理している：スタイル転送、画像修復、スーパーレゾリューション、色分け、ドメイン適応。
• コンテンツを保持しながらスタイルを転送するためのアーキテクチャ的イノベーション、例えばサイクル整合性、アイデンティティ損失、対抗訓練を議論している。

実験結果

リサーチクエスチョン

• RQ1 現代の画像対画像翻訳を駆動する核心的な生成モデルは何か？ また、それらは翻訳マッピングを学習する際にどのように異なるのか？
• RQ2 二ドメインおよびマルチドメインI2Iタスクは、手法論的にどのように異なり、それぞれにどのような主な課題があるのか？
• RQ3 コンピュータビジョンおよび画像処理分野におけるI2Iの最も影響力のある応用は何か？ また、それらは翻訳能力をどのように活用しているのか？
• RQ4 現在のI2Iフレームワークにおける主な制限要因は何か？ 特に解像度、効率性、一般化性能の観点から。
• RQ5 I2I手法は、テキスト、音声、3次元データなどの他のモダリティへどのように拡張できるか？

主な発見

• I2Iは、写真から芸術的スタイルへの転送、画像スーパーレゾリューション、医療画像の強化といった応用で顕著な成功を収めている。
• 特にサイクル整合性とアイデンティティ損失を用いたGANベースのモデルは、ペアデータが存在しない非教師ありI2Iにおいても、優れた知覚的品質を示している。
• 教師ありI2I手法はペア学習データが利用可能な場合に優れた結果を達成するが、非教師ありアプローチはペア例が存在しない状況でマッピングを学習するためにサイクル整合性に依存している。
• 本論文は、モデルの複雑さ、推論速度、出力忠実度の間で継続的なトレードオフが存在することを特定しており、特に高解像度での状況で顕著である。
• I2I手法は、線量計算や手術用フィジカルフォビーアイテーション生成といった医療画像処理分野のタスクに成功裏に応用されており、臨床的意義を示している。
• 今後の方向性として、リアルタイムデプロイ用の軽量モデルの開発や、テキストから画像、音声から動画への翻訳といった異種モダリティタスクへのI2Iの拡張が挙げられる。