[論文レビュー] StyTr$^2$: Image Style Transfer with Transformers

Yingying Deng, Fan Tang+5 more|arXiv (Cornell University)|May 30, 2021

Generative Adversarial Networks and Image Synthesis被引用数 34

ひとこと要約

StyTr^2は、2つのドメイン特化エンコーダ（コンテンツとスタイル）とコンテンツ認識位置エンコーディング（CAPE）を備えたトランスフォーマーベースのスタイル転送フレームワークを導入し、CNNベースおよびフロー基盤の方法よりも内容保持とスタイル忠実度を向上させます。

ABSTRACT

The goal of image style transfer is to render an image with artistic features guided by a style reference while maintaining the original content. Owing to the locality in convolutional neural networks (CNNs), extracting and maintaining the global information of input images is difficult. Therefore, traditional neural style transfer methods face biased content representation. To address this critical issue, we take long-range dependencies of input images into account for image style transfer by proposing a transformer-based approach called StyTr$^2$. In contrast with visual transformers for other vision tasks, StyTr$^2$ contains two different transformer encoders to generate domain-specific sequences for content and style, respectively. Following the encoders, a multi-layer transformer decoder is adopted to stylize the content sequence according to the style sequence. We also analyze the deficiency of existing positional encoding methods and propose the content-aware positional encoding (CAPE), which is scale-invariant and more suitable for image style transfer tasks. Qualitative and quantitative experiments demonstrate the effectiveness of the proposed StyTr$^2$ compared with state-of-the-art CNN-based and flow-based approaches. Code and models are available at https://github.com/diyiiyiii/StyTR-2.

研究の動機と目的

• CNNベースのスタイル転送における内容バイアス表現を、長距離依存関係を捉えることで解消する。
• コンテンツとスタイルのドメインを別々にモデル化するデュアルトランスフォーマーエンコーダーアーキテクチャを提案する。
• 画像に対してスケール不変で意味論駆動のエンコーディングを実現するCAPE（content-aware positional encoding）を導入する。
• トランスフォーマーデコーダとCNNアップサンプリングデコーダを組み合わせて高解像度出力を実現することで、段階的なスタイライズを可能にする。
• 最先端手法に対して定性的・定量的性能の優位性を示す。

提案手法

• コンテンツ画像とスタイル画像をパッチに分割し、それらを逐次埋め込みへ射影する。
• 2つのトランスフォーマーエンコーダを用いて、ドメイン特有のコンテンツおよびスタイル表現を抽出する。
• マルチレイヤーのトランスフォーマデコーダを適用し、スタイル列に従ってコンテンツ列を翻訳する。
• CAPEを導入して、コンテンツに条件付けられたスケール不変で意味論を意識した位置エンコーディングを提供する。
• 高解像度のスタイライズ出力を生成するためにCNNベースのアップサンプリングデコーダを用いる。
• 内容の再現性とスタイルの保持を目的として、知覚的内容/スタイル損失とアイデンティティ搙失で最適化する。

実験結果

リサーチクエスチョン

• RQ1 デュアルトランスフォーマー（内容エンコーダとスタイルエンコーダ）は、CNNベースのエンコーダよりも内容とスタイルの関係をより良くモデル化できるか。
• RQ2 CAPEは、変動する画像解像度に対してスケール不変性とスタイライズ品質を改善するか。
• RQ3 StyTr^2は、最先端手法と比較してコンテンツ構造の保持と多様なスタイル参照の適用においてどのような性能を示すか。
• RQ4 提案された損失（内容、スタイル、アイデンティティ）が内容保持とスタイル忠実度に与える影響はどの程度か。

主な発見

• StyTr^2は競合手法よりも内容損失が小さく（IESTを第二に良好）、スタイル損失も競争力があり、内容の保持とスタイルの適合性が強いことを示す。
• 定性的な結果は、StyTr^2が内容構造をよく保持し、望ましいスタイルパターンを示すとともに、CNN-およびフロー基盤アプローチで見られる一般的なアーティファクトを減らすことを示す。
• 100名の参加者と4,000票を用いたユーザースタディにより、StyTr^2が全体品質、内容保持、スタイル一貫性の点で複数のベースラインより好まれることが示された。
• トランスフォーマー基盤アーキテクチャにより、複数回のスタイライズを通じて鋭い内容ディテールを維持しつつ、コンテンツ漏洩を抑制する。
• CAPEはサイン波状の位置エンコーディングと比較して、画像スケール変化や反復パターンへのロバスト性を向上させる。
• 本研究は、複数のCNNおよびトランスフォーマーベースのベースラインと比べて、内容忠実度とスタイル整合性の優れたバランスを示すStyTr^2の性能を示す。