[論文レビュー] ASSET: Autoregressive Semantic Scene Editing with Transformers at High Resolutions

Difan Liu, Sandesh Shetty+5 more|arXiv (Cornell University)|May 24, 2022

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

ASSETは、粗くから細かくまでの注目メカニズムを通じて長距離依存関係を効率的に捉えることで、1024×1024解像度のセマンティック画像編集を可能にするトランスフォーマー基盤アーキテクチャを導入した。スパース化されたガイド付き注目（SGA）を採用し、フル自己注意よりも計算コストを大幅に削減しながら、現実的で多様かつ一貫性のある編集を達成している。従来のCNNおよびトランスフォーマー手法を、品質と効率の両面で上回っている。

ABSTRACT

We present ASSET, a neural architecture for automatically modifying an input high-resolution image according to a user's edits on its semantic segmentation map. Our architecture is based on a transformer with a novel attention mechanism. Our key idea is to sparsify the transformer's attention matrix at high resolutions, guided by dense attention extracted at lower image resolutions. While previous attention mechanisms are computationally too expensive for handling high-resolution images or are overly constrained within specific image regions hampering long-range interactions, our novel attention mechanism is both computationally efficient and effective. Our sparsified attention mechanism is able to capture long-range interactions and context, leading to synthesizing interesting phenomena in scenes, such as reflections of landscapes onto water or flora consistent with the rest of the landscape, that were not possible to generate reliably with previous convnets and transformer approaches. We present qualitative and quantitative results, along with user studies, demonstrating the effectiveness of our method.

研究の動機と目的

• 高解像度画像編集における長距離依存関係をモデル化する課題に取り組むこと。
• 周囲の領域に限定される局所的注目メカニズムの制限を克服し、一貫性のない編集を防ぐこと。
• 自己回帰的トランスフォーマー基盤フレームワークを用いて、1024×1024解像度で多様で現実的かつ一貫性のある画像編集を可能にすること。
• 低解像度の自己注意マップからのガイドを用いて注目をスパース化することで、高解像度画像におけるトランスフォーマーの計算コストを低減すること。
• VQGANベースの画像エンコーダーにおいて、マスクされた領域からマスクされていない領域への特徴の漏れを防ぐこと。

提案手法

• モデルは、マスクされた領域を[マスク]トークンに置き換えた、変更されたVQGANエンコーダーを用いて、量子化済みの画像およびセグメンテーション表現を取得する。
• 高解像度トランスフォーマーは、マスクされた画像および編集済みセグメンテーションマップを条件として、画像トークンを自己回帰的に生成する。
• スパース化されたガイド付き注目（SGA）は、各高解像度トークンに対して関連のある画像領域をランク付けするため、256×256解像度で動作するガイド用トランスフォーマーを用いてスパースな注目行列を計算する。
• ガイド用トランスフォーマーは低解像度でフル自己注意を計算し、その注目マップを用いて高解像度の注目における上位K個の関連する位置を選択することで、効率的な長距離モデリングを実現する。
• 生成されたトークンからVQGANデコーダーを用いて最終的な画像を復元し、高精細な出力を保持する。
• エンコーダーに部分的畳み込みおよび領域正規化を適用することで、マスク領域から非マスク領域への情報漏れを防ぐ。

実験結果

リサーチクエスチョン

• RQ1 フル自己注意よりも計算コストが著しく高い状況でも、トランスフォーマー基盤アーキテクチャが高解像度セマンティック画像編集において長距離依存関係を効果的にモデル化できるか？
• RQ2 低解像度自己注意からガイドされたスパース注目メカニズムが、局所的または密な注目と比較して、高解像度編集においてより優れた一貫性と現実性を達成できるか？
• RQ3 1024×1024解像度において、提案されたスパース化されたガイド付き注目（SGA）メカニズムは、フル自己注意および他のスパース注目変種と比較して、品質と効率の両面で優れているか？
• RQ4 遠く離れた画像領域間において、反射や一貫性のある植物配置といったグローバルなシーンの一貫性をどの程度維持できるか？
• RQ5 高解像度において計算コストを抑えた状態で、多様で高品質な編集を生成できるか？

主な発見

• ASSETは1024×1024解像度で高品質で多様かつ一貫性のある編集を達成し、水の反射や一貫性のある景観要素といった現実的な現象を再現可能である。
• 計算コストを顕著に削減した：SGAを用いた訓練ではA100で37GBのVRAMで済み、フル注目では40GBを超える必要があった。
• 1024×1024解像度において、SGAによる推論はフル注目と比較して約20倍速く、出力品質を維持している。
• 256×256解像度のガイド用トランスフォーマーは、推論全体の3.4％しか占めないため、高解像度のSGAメカニズムが主な性能加速要因であることが示された。
• ASSETは、以前の手法TTと同等の推論速度を達成しているが、ユーザースタディおよび定量的指標による検証で、はるかに優れた出力品質を達成している。
• 変更されたVQGANエンコーダーは、マスク領域から非マスク領域への特徴の漏れを効果的に防いでおり、潜在特徴の差の可視化によってその有効性が裏付けられている。