[論文レビュー] Hijack-GAN: Unintended-Use of Pretrained, Black-Box GANs

Hui‐Po Wang, Ning Yu+1 more|arXiv (Cornell University)|Nov 28, 2020

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 7

ひとこと要約

この論文は、StyleGAN や PGGAN などの事前学習済み GAN に対して、その非常に非線形な潜在空間にもかかわらず、モデルパラメータにアクセスせずに高水準な制御を可能にするブラックボックスフレームワーク、Hijack-GAN を提案する。反復的な潜在コード最適化と直交制約を適用することで、顔の属性、頭部ポーズ、ランドマークなどの属性固有の画像操作が滑らかに実現され、GAN が元来の目的とは異なる多様なビジョンタスクに意図しないが効果的な再利用が可能であることが示された。

ABSTRACT

While Generative Adversarial Networks (GANs) show increasing performance and the level of realism is becoming indistinguishable from natural images, this also comes with high demands on data and computation. We show that state-of-the-art GAN models -- such as they are being publicly released by researchers and industry -- can be used for a range of applications beyond unconditional image generation. We achieve this by an iterative scheme that also allows gaining control over the image generation process despite the highly non-linear latent spaces of the latest GAN models. We demonstrate that this opens up the possibility to re-use state-of-the-art, difficult to train, pre-trained GANs with a high level of control even if only black-box access is granted. Our work also raises concerns and awareness that the use cases of a published GAN model may well reach beyond the creators' intention, which needs to be taken into account before a full public release. Code is available at https://github.com/hui-po-wang/hijackgan.

研究の動機と目的

• 事前学習済み GAN のモデルパラメータにアクセスせずに、ブラックボックスアクセスのみで高水準かつ制御可能な画像生成を可能にすること。
• 現代の GAN（例：StyleGAN）の非常に非線形な潜在空間における線形操作手法の限界を克服するため、反復的最適化スキームを導入すること。
• 新しい直交制約を用いて、非ターゲット属性への影響を最小限に抑えながら、正確で属性固有の編集を実現すること。
• 顔のポーズやランドマークの操作といった、元来の設計を超えたタスクに対しても、意図しないが効果的な GAN の再利用を実証すること。
• GAN モデルの公表にあたって、意図しないモデル使用のリスクを認識し、慎重な配慮が求められることを提起すること。

提案手法

• 生成器の挙動をバックプロパゲーションなしに近似する代理モデルを学習し、潜在空間における勾配フリー最適化を可能にする。
• 非線形な潜在空間を走査する反復的最適化スキームを用い、推定された勾配に基づいて潜在コードの更新方向を動的に調整する。
• 直交制約（式 4）を適用し、編集がターゲット属性にのみ影響を与え、他の属性への変化を最小限に抑える。
• ブラックボックス分類器として事前学習済みタスクモデル（例：HopeNet、MTCNN）を活用し、最適化を望ましい画像属性へ誘導する。
• ジェイコビアンに基づく推定勾配を用いて生成器の局所的挙動を近似し、潜在空間における安定的かつ滑らかな遷移を実現する。
• 複数の属性とポーズを条件として最適化することで、特にエンタングルドな潜在空間においても細かく制御可能な制御を実現する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み GAN は、モデルパラメータにアクセスせずにブラックボックスアクセスのみで、意図しないビジョンタスクに効果的に再利用可能か？
• RQ2 StyleGAN のような現代の GAN の非常に非線形な潜在空間において、どのように高水準な制御を達成できるか？
• RQ3 関連しない属性への影響を最小限に抑えながら、どの程度属性固有の編集が可能か？
• RQ4 反復的最適化は、線形で非反復的な手法と比較して、属性遷移の正確さと滑らかさにおいてどのように異なるか？
• RQ5 事前学習済み GAN の潜在空間において、属性間の測定可能なエンタングルメント（例：笑顔と口のランドマーク）はどの程度存在するか？

主な発見

• 提案された反復的フレームワークは、InterfaceGAN などの線形ベースラインと比較して、潜在空間の長い距離においても低い近似誤差を達成した。
• 直交制約は属性の特異性を顕著に向上させ、非ターゲット属性の保持が従来手法よりも優れた結果を示した。
• 低信頼度のサンプルを除いた場合、笑顔属性の操作において高い正確性が得られ、アノテーション品質への感受性が示された。
• ヨー軸とピッチ軸の両方における頭部ポーズの操作は、ステップサイズ 0.01 を用いて 1000 ステップで滑らかに補間可能であった。
• 属性間に測定可能なエンタングルメントが存在する：口のランドマークと笑顔の間のコサイン類似度は 0.296、鼻のランドマークとヨーの間は 0.5014 であった。
• モデルパラメータが入手不可であるにもかかわらず、顔のランドマークのような局所的で細かい属性の編集が効果的に可能であり、GAN の意図しない再利用の可能性を示した。