[論文レビュー] RL-I2IT: Image-to-Image Translation with Deep Reinforcement Learning

Jing Hu, Ziwei Luo+8 more|arXiv (Cornell University)|Sep 24, 2023

Brain Tumor Detection and ClassificationNeuroscience被引用数 3

ひとこと要約

本稿では、高次元連続的行動空間における画像対画像翻訳のための深層強化学習フレームワークであるRL-I2ITを提案する。この手法は、メタポリシーと低次元の「コンセプトプラン」を用いて、タスクを段階的で軽量なステップに分解することで、学習の安定性と一般化性能を向上させる。ソフトアクタクリティカルと補助学習、スキップ接続を活用することで、モデルの複雑さを低減し、高次元連続的行動空間における高いサンプル効率を実現した。

ABSTRACT

Most existing Image-to-Image Translation (I2IT) methods generate images in a single run of a deep learning (DL) model. However, designing such a single-step model is always challenging, requiring a huge number of parameters and easily falling into bad global minimums and overfitting. In this work, we reformulate I2IT as a step-wise decision-making problem via deep reinforcement learning (DRL) and propose a novel framework that performs RL-based I2IT (RL-I2IT). The key feature in the RL-I2IT framework is to decompose a monolithic learning process into small steps with a lightweight model to progressively transform a source image successively to a target image. Considering that it is challenging to handle high dimensional continuous state and action spaces in the conventional RL framework, we introduce meta policy with a new concept Plan to the standard Actor-Critic model, which is of a lower dimension than the original image and can facilitate the actor to generate a tractable high dimensional action. In the RL-I2IT framework, we also employ a task-specific auxiliary learning strategy to stabilize the training process and improve the performance of the corresponding task. Experiments on several I2IT tasks demonstrate the effectiveness and robustness of the proposed method when facing high-dimensional continuous action space problems. Our implementation of the RL-I2IT framework is available at https://github.com/Algolzw/SPAC-Deformable-Registration.

研究の動機と目的

• 1ステップの深層学習モデルが画像対画像翻訳において抱える高パラメータ数、過学習、一般化性能の低さといった限界を解消すること。
• 画像対画像翻訳タスクにおいて、高次元連続的状態空間と行動空間に強化学習を適用する際の課題を克服すること。
• 低次元の「コンセプトプラン」を有するメタポリシーを導入することで、行動生成のガイドラインを提供し、学習の安定性とモデルの一般化性能を向上させること。
• 軽量なネットワークを用いた段階的意思決定により、計算負荷を低減する、効率的で段階的な画像翻訳を可能にすること。
• タスク固有の補助学習戦略とスキップ接続を用いて、学習の安定性を高めることで、空間的詳細を保持する。

提案手法

• フレームワークは、3つのネットワークアーキテクチャ（プランナー、アクター、クリティック）を採用し、最大エントロピー強化学習のためのソフトアクタクリティカル（SAC）を用いる。
• 状態と行動の間の低次元中間表現として、新しい「コンセプトプラン」を導入し、高次元行動予測の実行可能性を高める。
• プランナーは、空間的詳細を保持するためのスキップ接続を備えた畳み込みニューラルネットワーク（CNN）を用いて、現在の状態からコンセプトプランを生成する。
• アクターは、状態とコンセプトプランの両方を入力とし、画像変換（行動）を生成する。プランは探索分散を低減するための条件付きガイドとして機能する。
• 学習の安定性と性能向上のため、構造的・意味的詳細を保持するタスク固有の補助学習損失を適用する。
• プランナーのダウンサンプリング層からアクターのアップサンプリング層へのスキップ接続により、勾配の流れが向上し、微細な画像詳細が保持される。

実験結果

リサーチクエスチョン

• RQ1 メタポリシーとコンセプトプランを有する強化学習フレームワークは、画像対画像翻訳における高次元連続的行動空間を効果的に扱えるか？
• RQ2 低次元のコンセプトプランの使用は、画像対画像翻訳タスクにおける学習の安定性とモデルの一般化性能をどのように向上させるか？
• RQ3 補助学習とスキップ接続は、RL-I2ITフレームワークの性能と収束性をどの程度向上させるか？
• RQ4 段階的で順次的なアプローチは、1ステップの深層学習モデルと比較して、パラメータ効率と翻訳品質の点でどのように異なるか？
• RQ5 提案手法は、モデルの複雑さを低減し、多様なI2ITタスクにおいて優れた耐障害性を達成できるか？

主な発見

• RL-I2ITフレームワークは、画像対画像翻訳、セマンティックセグメンテーション、スタイルトランスファーを含む、複数の画像対画像翻訳ベンチマークで最先端または競争力のある性能を達成した。
• コンセプトプランの使用により、有効な行動空間が著しく縮小され、軽量なアクターネットワークを用いた安定した学習が可能になり、過学習が軽減された。
• 補助学習とスキップ接続により、特徴の保持と勾配の流れが向上し、収束が早まり、高品質な画像生成が実現した。
• 本手法は、多様なI2ITタスクにおいて強力な耐障害性を示し、標準のGANやU-Netベースのモデルと比較して、一般化性能とサンプルの多様性に優れた性能を発揮した。
• 1ステップモデルと比較して、パラメータ数が少なく、計算コストも低く抑えられ、リソース制約のある環境へのデプロイに適した高品質な翻訳を実現した。
• 実験結果から、最大エントロピーを考慮したメタポリシーが探索を改善し、モード崩壊を低減し、多様で現実的な画像生成を可能にした。