[論文レビュー] Learning Graph Neural Networks for Image Style Transfer

Yongcheng Jing, Yining Mao+5 more|arXiv (Cornell University)|Jul 24, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、局所的なパッチレベルで学習可能で細分化されたコンテンツ-スタイル対応関係を確立するため、グラフニューラルネットワーク（GNN）を用いた半パrametricなニューラルスタイル転送フレームワークを提案する。コンテンツとスタイルのノード間における注目メカニズムに基づくメッセージパッシングとしてスタイル転送をモデル化することで、パッチの不一致に起因するアーティファクトを低減し、グローバルなスタイルの一貫性と局所的な詳細を両立させ、推論時にエッジ制御を動的に制御することで柔軟で多様な出力を実現する。

ABSTRACT

State-of-the-art parametric and non-parametric style transfer approaches are prone to either distorted local style patterns due to global statistics alignment, or unpleasing artifacts resulting from patch mismatching. In this paper, we study a novel semi-parametric neural style transfer framework that alleviates the deficiency of both parametric and non-parametric stylization. The core idea of our approach is to establish accurate and fine-grained content-style correspondences using graph neural networks (GNNs). To this end, we develop an elaborated GNN model with content and style local patches as the graph vertices. The style transfer procedure is then modeled as the attention-based heterogeneous message passing between the style and content nodes in a learnable manner, leading to adaptive many-to-one style-content correlations at the local patch level. In addition, an elaborated deformable graph convolutional operation is introduced for cross-scale style-content matching. Experimental results demonstrate that the proposed semi-parametric image stylization approach yields encouraging results on the challenging style patterns, preserving both global appearance and exquisite details. Furthermore, by controlling the number of edges at the inference stage, the proposed method also triggers novel functionalities like diversified patch-based stylization with a single model.

研究の動機と目的

• パラメトリック手法の限界を解消する。具体的には、グローバル統計の一致に起因して細分化された局所的スタイルパターンを保持できない点。
• 非パラメトリック手法に起因するアーティファクトを克服する。具体的には、1対1のパッチマッチングとコンテンツ-スタイルの不一致に起因するもの。
• パッチレベルで適応的で多数対1のスタイル-コンテンツ対応関係学習を可能にする半パラメトリックフレームワークを開発する。
• 推論時にエッジ接続を制御することで、1つの訓練済みモデルから柔軟で多様なスタイル転送出力を得る。
• 可変的グラフ畳み込み演算を用いてスケール間のスタイル-コンテンツマッチングを向上させる。

提案手法

• コンテンツとスタイルの特徴パッチを別々のノードタイプとして扱う非均質的グラフを構築する。
• グラフアテンションネットワーク（GAT）を用いて注目メカニズムに基づくメッセージパッシングを実施し、各コンテンツノードに対して最も類似したk個のスタイルパッチを集約する。
• 学習可能なスケール予測器を備えた可変的グラフ畳み込み層を導入し、スケール間の特徴マッチングと空間的に適応的なストローク生成を可能にする。
• 意味的に類似した領域（例：目や背景）においてもグローバルなスタイルの一貫性を維持するため、コンテンツノード間のドメイン内エッジを組み込む。
• 異種エッジの構築に正規化相互相関（NCC）を類似度指標として用い、ユークリッド距離を上回る性能を発揮する。
• 推論時にノードごとの接続数を動的に調整することで、1つのモデルから複数の独自な出力を得られる多様なスタイル転送を実現する。

実験結果

リサーチクエスチョン

• RQ1 コンテンツとスタイルのパッチ間における学習可能で多数対1の対応関係は、非パラメトリックスタイル転送におけるパッチ不一致に起因するアーティファクトを低減できるか？
• RQ2 GNNは、局所的詳細の保持を向上させるために、適応的で細分化されたコンテンツ-スタイル関係を効果的にモデル化できるか？
• RQ3 可変的グラフ畳み込みは、より自然で空間的に適応的なストローク生成を実現するためのスケール間スタイル-コンテンツマッチングを可能にするか？
• RQ4 推論時の接続性を制御することで、1つのGNNベースのモデルがどれほど多様なスタイル転送出力を生成できるか？
• RQ5 ユークリッド距離の代わりにNCCを類似度指標として用いることで、グラフ内でのコンテンツ-スタイル対応関係の品質が向上するか？

主な発見

• 提案手法であるGNNベースの手法は、グローバルなストローク配置と局所的な細分化されたパターンの両面で、最先端のパラメトリックおよび非パラメトリック手法を上回る優れたスタイル転送性能を達成する。
• 正規化相互相関（NCC）を類似度指標として用いることで、ユークリッド距離を用いた場合に比べて顕著に優れた結果が得られ、特に局所的詳細とグローバル一貫性の保持において顕著な向上が見られた。
• 可変的グラフ畳み込みモジュールにより、空間的に適応的でマルチスケールのストローク生成が可能となり、スタイル化出力におけるコントラストと意味的顕著性が向上した。
• コンテンツノード間のドメイン内エッジを組み込むことで、目や背景など意味的に類似した領域においてグローバルな一貫性が向上した。
• ノードごとの接続数を変更することで、1回の推論プロセスでパッチベースの多様なスタイル転送が可能となり、ユーザーが制御可能なスタイル変異を実現した。
• パッチサイズを大きくすると、スタイル化出力におけるストロークがより大きく目立つようになり、ストロークスケールに対する制御性が実証された。