[論文レビュー] Cooperative Training of Fast Thinking Initializer and Slow Thinking Solver for Multi-Modal Conditional Learning

Jianwen Xie, Zilong Zheng+3 more|arXiv (Cornell University)|Feb 7, 2019

Domain Adaptation and Few-Shot Learning参考文献 1被引用数 4

ひとこと要約

本稿では、マルチモーダルな条件付き生成のための協調的トレーニングフレームワークを提案する。このフレームワークは、高速思考のイニシャライザと遅速思考のソルバを組み合わせており、イニシャライザがノイズ条件付き変換によって初期出力を提供し、ソルバが条件付きエネルギー関数の反復的最適化を通じてそれを精錬する。共同トレーニングにより、画像間変換、クラスから画像生成、画像回復のタスクにおいて性能が向上する。

ABSTRACT

This paper studies the supervised learning of the conditional distribution of a high-dimensional output given an input, where the output and input may belong to two different modalities, e.g., the output is an photo image and the input is a sketch image. We solve this problem by cooperative training of a fast thinking initializer and slow thinking solver. The initializer generates the output directly by a non-linear transformation of the input as well as a noise vector that accounts for latent variability in the output. The slow thinking solver learns an objective function in the form of a conditional energy function, so that the output can be generated by optimizing the objective function, or more rigorously by sampling from the conditional energy-based model. We propose to learn the two models jointly, where the fast thinking initializer serves to initialize the sampling of the slow thinking solver, and the solver refines the initial output by an iterative algorithm. The solver learns from the difference between the refined output and the observed output, while the initializer learns from how the solver refines its initial output. We demonstrate the effectiveness of the proposed method on various multi-modal conditional learning tasks, e.g., class-to-image generation, image-to-image translation, and image recovery.

研究の動機と目的

• 入力と出力の異なるモダリティ間の高次元の条件付き分布を学習する課題に取り組むこと。例えば、スケッチから画像への変換など。
• 高速思考と遅速思考のプロセスの補完的特徴を活用することで、マルチモーダルな条件付き学習における生成品質と多様性を向上させること。
• 高速イニシャライザと遅速ソルバが最適化中に互いにフィードバックを提供する共同トレーニングパラダイムを構築すること。
• 多様な入力モダリティ（例：スケッチ、テキスト、ノイズの多い入力）に対して、複雑で構造的な出力（例：画像）を効果的に学習できること。

提案手法

• 高速思考のイニシャライザは、入力とノイズベクトルに非線形変換を適用することで初期出力を生成し、潜在的変動をモデル化する。
• 遅速思考のソルバは、最適化またはサンプリングを通じて高品質な出力を生成するための確率的目的を定義する条件付きエネルギー関数を学習する。
• ソルバは、精錬された出力と真値との差を学習信号として用いて、イニシャライザの出力を反復的に最適化する。
• イニシャライザは、自身の予測がソルバによってどのように変更されたかに基づいて更新され、フィードバック駆動の改善が可能になる。
• 共同トレーニングは、ソルバの目的関数の精錬と、ソルバの精錬プロセスからの勾配を用いたイニシャライザの更新を交互に繰り返す。
• フレームワークは、画像間変換、クラスから画像生成、画像回復といったマルチモーダルタスクに適用され、アーキテクチャの共通部品を共有する。

実験結果

リサーチクエスチョン

• RQ1 高速イニシャライザと遅速ソルバの協調的トレーニングスキームは、従来の自己回帰的または拡散ベースの手法を上回るマルチモーダルな条件付き生成を実現できるか？
• RQ2 高速プロセスと遅速プロセスの相互作用が、クロスモーダルな設定における生成出力の品質と多様性にどのように影響するか？
• RQ3 高速モデルによる高品質な初期化が、ソルバの精錬プロセスにどの程度恩恵をもたらすか？
• RQ4 イニシャライザとソルバの共同学習は、独立してトレーニングする場合と比較して、画像回復および変換タスクにおける一般化性能を向上させられるか？

主な発見

• 協調的トレーニングフレームワークは、画像間変換ベンチマークで最先端の性能を達成し、忠実度と多様性の両面で既存手法を上回る。
• 本手法は、クラスから画像生成タスクにおいても強力な一般化性能を示し、クラスラベルから高解像度で意味的に整合性のある画像を生成できる。
• 画像回復タスクでは、ソルバの反復的精錬プロセスを活用して欠損または損傷した画像領域を効果的に再構築できる。
• アブレーションスタディの結果、イニシャライザとソルバの共同トレーニングは、それらを独立して学習する場合と比較して顕著な性能向上をもたらすことが示された。
• ノイズ条件付きイニシャライザの使用により出力空間の探索が向上し、同時にソルバによる最適化によって構造的正確性が保証される。
• 本フレームワークは、スケッチから画像への変換やテキストから画像への生成を含む多様な入出力モダリティに対して頑健であり、ベースライン手法に対して一貫した改善を示す。