[論文レビュー] Transformer-Based Attention Networks for Continuous Pixel-Wise Prediction

Guanglei Yang, Hao Tang+3 more|arXiv (Cornell University)|Mar 22, 2021

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、単眼深度推定や表面法線推定を含む連続的画素単位予測タスク向けに、ハイブリッドCNN-Transformerアーキテクチャ「TransDepth」を提案する。ResNetバックボーンにビジョントランスフォーマーブロックを統合し、さらに統一されたアテンションゲートデコーダーを組み込むことで、長距離依存関係を効果的にモデル化するとともに、局所的詳細を保持し、NYU、KITTI、ScanNetベンチマークで最先端の性能を達成した。

ABSTRACT

While convolutional neural networks have shown a tremendous impact on various computer vision tasks, they generally demonstrate limitations in explicitly modeling long-range dependencies due to the intrinsic locality of the convolution operation. Initially designed for natural language processing tasks, Transformers have emerged as alternative architectures with innate global self-attention mechanisms to capture long-range dependencies. In this paper, we propose TransDepth, an architecture that benefits from both convolutional neural networks and transformers. To avoid the network losing its ability to capture local-level details due to the adoption of transformers, we propose a novel decoder that employs attention mechanisms based on gates. Notably, this is the first paper that applies transformers to pixel-wise prediction problems involving continuous labels (i.e., monocular depth prediction and surface normal estimation). Extensive experiments demonstrate that the proposed TransDepth achieves state-of-the-art performance on three challenging datasets. Our code is available at: https://github.com/ygjwd12345/TransDepth.

研究の動機と目的

• 密な予測タスクにおける畳み込みニューラルネットワークの長距離空間的依存関係モデル化の限界を解消すること。
• 画素単位回帰タスクにおいて純粋なトランスフォーマーを用いる際の局所的インダクティブバイアスの喪失を克服すること。
• マルチスケール特徴を統合し、デコーダー内の特徴表現を強化する、新しいアテンションゲートデコーダーを提案すること。
• CNNとトランスフォーマーを組み合わせることで連続ラベル予測の性能を向上させることの有効性を示すこと、特に単眼深度推定および表面法線推定において。
• 単眼深度および法線推定タスクの標準ベンチマークデータセットにおいて、新たな最先端の性能を確立すること。

提案手法

• 長距離依存関係をモデル化する能力を高めるために、ResNet-50バックボーンにビジョントランスフォーマーブロックを統合し、局所的空間的インダクティブバイアスを維持する。
• 異なるスケールの特徴を統合するために、チャンネル単位および空間単位のアテンション機構を別々に適用する統一されたアテンションゲートデコーダーを提案する。
• ゲート付きアテンションを用いて、スケールごとの特徴マップを動的に重み付けし、特徴の伝搬と表現学習を向上させる。
• デコーダーが複数のエンコーダーステージ（例：f³, f⁴, f⁵）からの特徴を受けるマルチスケール統合戦略を採用し、文脈を豊かにする。
• 自己アテンションメカニズムを活用して、特徴マップ内のすべての画素間の長距離依存関係をモデル化し、グローバルな文脈モデリングを可能にする。
• 深度推定および法線推定タスクの標準回帰損失関数を用いて、ネットワークをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーは、単眼深度推定や表面法線推定のような連続的画素単位予測タスクに効果的に適用可能か？
• RQ2 トランスフォーマーのグローバルモデリング能力とCNNの局所的インダクティブバイアスをどのように組み合わせれば、密な予測性能を向上させられるか？
• RQ3 空間的およびチャネル単位のアテンションを維持しつつ、マルチスケール特徴を統合する最適なデコーダー設計は何か？
• RQ4 提案された統一されたアテンションゲートデコーダーは、標準のアテンションやスカイプ接続ベースのデコーダーに比べ、長距離および局所的依存関係をより効果的に捉えられるか？
• RQ5 ハイブリッドCNN-Transformerアーキテクチャは、NYU、KITTI、ScanNetのような標準ベンチマークで最先端の結果を達成できるか？

主な発見

• NYUデータセットにおける単眼深度推定において、TransDepthはδ < 1.25の指標で0.900という新たな最先端性能を達成した。
• KITTIデータセットでは、δ < 1.25の指標で0.956を達成し、深度予測において新たなSOTAを樹立した。
• NYUにおける表面法線推定では、11.25°の指標で61.7%を達成し、新たなSOTA結果を確立した。
• アブレーションスタディの結果、3つのエンコーダ特徴（f³, f⁴, f⁵）の統合が最良の性能をもたらし、さらに特徴を拡張すると過学習が生じることがわかった。
• ResNet-50とViT-B/16のハイブリッドバックボーンは、NYU深度データセットの全指標において、純粋なResNetおよび純粋なViTバックボーンを上回る性能を示した。
• 定量的アテンションマップの可視化により、アテンションゲートデコーダーが画像の異なる領域にわたりマルチスケールの空間的依存関係を効果的に捉えていることが確認された。