[論文レビュー] TFill: Image Completion via a Transformer-Based Architecture.

Chuanxia Zheng, Tat‐Jen Cham+1 more|arXiv (Cornell University)|Apr 2, 2021

Visual Attention and Saliency Detection被引用数 13

ひとこと要約

TFillは、画像補完をシーケンス・ツー・シーケンスタスクとして扱うトランスフォーマー基盤の画像補完フレームワークを提案する。小規模で制限的な受容 field を持つCNNを用いてトークン表現を実現し、近隣ピクセルに偏らない形で長距離依存関係を明示的にモデル化する。グローバル自己注意エンコーダーと、外観の一貫性を向上させ、標準的な注意の島嶼効果を軽減する注意に配慮したレイヤーを組み合わせることで、最先端の性能を達成する。

ABSTRACT

Bridging distant context interactions is important for high quality image completion with large masks. Previous methods attempting this via deep or large receptive field (RF) convolutions cannot escape from the dominance of nearby interactions, which may be inferior. In this paper, we propose treating image completion as a directionless sequence-to-sequence prediction task, and deploy a transformer to directly capture long-range dependence in the encoder in a first phase. Crucially, we employ a restrictive CNN with small and non-overlapping RF for token representation, which allows the transformer to explicitly model the long-range context relations with equal importance in all layers, without implicitly confounding neighboring tokens when larger RFs are used. In a second phase, to improve appearance consistency between visible and generated regions, a novel attention-aware layer (AAL) is introduced to better exploit distantly related features and also avoid the insular effect of standard attention. Overall, extensive experiments demonstrate superior performance compared to state-of-the-art methods on several datasets.

研究の動機と目的

• 大きなマスクを伴う画像補完において、畳み込みネットワークが遠く離れたコンテキスト相互作用をモデル化する能力に制限があることに対処すること。
• 深さや大きな受容 field を持つ畳み込みにおいて、近隣ピクセルの相互作用が優位になることによる補完品質の低下を克服すること。
• 大きな受容 field に起因する暗黙のバイアスなしに、画像全体にわたる長距離依存関係を明示的かつ均等に注目できるようにすること。
• 新しい注意に配慮したレイヤーを用いて、可視領域と生成領域の間の外観の一貫性を向上させること。
• グローバルコンテキストモデリングと局所的特徴の精錬を組み合わせることで、優れた画像補完性能を達成すること。

提案手法

• 画像補完を方向性のないシーケンス・ツー・シーケンス予測タスクとして扱い、グローバルコンテキストモデリングにトランスフォーマー・アーキテクチャを活用できるようにする。
• 長距離依存関係が局所的近傍の優位性に暗黙的に偏らないように、小規模で重複のない受容 field を持つ制限的なCNNを用いて画像トークンを表現する。
• 最初の段階で、すべてのトークンに均等に作用する自己注意メカニズムを備えた標準的なトランスフォーマー・エンコーダーを用い、画像全体にわたる長距離依存関係を捉える。
• 2番目の段階で、遠く離れた関連する特徴をより効果的に活用し、標準的な自己注意の島嶋効果を軽減するための注意に配慮したレイヤー（AAL）を導入する。
• トランスフォーマーからのグローバルコンテキスト表現とAALを組み合わせ、生成領域を精錬しながら可視領域と一貫性を保つ。
• 2段階の訓練戦略を採用する：最初にトランスフォーマーによるグローバルコンテキストモデリング、次にAALによる局所的精錬で視覚的妥当性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のアーキテクチャは、局所的ピクセル相互作用に偏らない形で、画像補完における長距離依存関係を効果的にモデル化できるか？
• RQ2 小規模な受容 field を持つCNNをトークン表現に用いることで、大規模または深層畳み込みに比べて、遠く離れたコンテキストのモデル化がよりバランスの取れたものになるか？
• RQ3 注意に配慮したレイヤー（AAL）は、生成領域と可視領域の間の外観の一貫性をどの程度向上させるか？
• RQ4 定量的および定性的な画像補完性能の観点から、提案手法は最先端の手法と比較してどのように差をつけるか？
• RQ5 グローバル自己注意と特化した精錬レイヤーの組み合わせは、大規模マスクを伴う多様なデータセットにおいて、既存の手法を上回る性能を発揮できるか？

主な発見

• TFillは、複数のベンチマークデータセットにおいて、最先端の手法に比べて優れた画像補完性能を達成する。
• 重複のない小規模な受容 field を持つCNNの使用により、トランスフォーマーが画像のすべての空間的位置に対して等価な重要度で長距離依存関係をモデル化できる。
• 注意に配慮したレイヤー（AAL）は、標準的な自己注意の島嶋効果を顕著に低減し、より一貫性があり整合性の取れた生成領域を実現する。
• 広範な実験により、TFillが定量的指標および定性的な視覚的品質の両面で、既存の手法を上回ることが示された。
• 本手法は、遠く離れたコンテキスト相互作用を効果的に橋渡ししており、大規模マスクを伴う高品質な画像補完にとって不可欠である。
• グローバルコンテキストモデリングに続く外観に配慮した精錬という2段階設計は、グローバルな整合性と局所的な現実性のバランスを効果的にとらえることが証明された。