[論文レビュー] PS-Transformer: Learning Sparse Photometric Stereo Network using Self-Attention Mechanism

Satoshi Ikehata|arXiv (Cornell University)|Nov 21, 2022

Color Science and Applications被引用数 13

ひとこと要約

本稿では、画素単位と画像単位の特徴を組み合わせた二重ブランチアーキテクチャを用いて、高次元の画像間相互作用を捉える自己注意型深層学習モデル、PS-Transformerを提案する。ダウンサンプリングを伴わない多頭注目機構を活用し、表面法線の間接的監視を施すことで、8枚の入力画像のみでも最先端の精度を達成し、10倍の画像を必要とする密度型手法を上回る性能を発揮する。

ABSTRACT

Existing deep calibrated photometric stereo networks basically aggregate observations under different lights based on the pre-defined operations such as linear projection and max pooling. While they are effective with the dense capture, simple first-order operations often fail to capture the high-order interactions among observations under small number of different lights. To tackle this issue, this paper presents a deep sparse calibrated photometric stereo network named {\it PS-Transformer} which leverages the learnable self-attention mechanism to properly capture the complex inter-image interactions. PS-Transformer builds upon the dual-branch design to explore both pixel-wise and image-wise features and individual feature is trained with the intermediate surface normal supervision to maximize geometric feasibility. A new synthetic dataset named CyclesPS+ is also presented with the comprehensive analysis to successfully train the photometric stereo networks. Extensive results on the publicly available benchmark datasets demonstrate that the surface normal prediction accuracy of the proposed method significantly outperforms other state-of-the-art algorithms with the same number of input images and is even comparable to that of dense algorithms which input 10$ imes$ larger number of images.

研究の動機と目的

• 少ない画像枚数のスパース設定において、従来の深層光度ステレオネットワークが特徴抽出に困難を抱えるという制限を解決すること。
• 最大プーリングや線形投影といった一次集約手法が、スパースな照明観測間の複雑な高次元相互作用を捉えられないという問題を克服すること。
• 順列不変な方法で複数の照明情報の効果的融合を実現しながら、微細な表面ディテールを保持するモデルの設計。
• スパース光度ステレオネットワークの学習と評価を支援するため、新たな合成データセットCyclesPS+を導入すること。
• 低データ環境下において、自己注意機構が従来のCNNベースやセットプーリング手法を上回ることを実証すること。

提案手法

• 画素単位の観測を複数の照明方向で処理するマルチヘッド自己注意機構を用いるブランチと、畳み込み層による画像レベル特徴の符号化を実行するブランチを有する二重ブランチネットワークを提案する。
• 固定グリッドや入力サイズに依存しない学習可能な自己注意機構を用い、異なる照明方向下での観測間の複雑で非線形な関係をモデル化する。
• 特徴レベルで予測された表面法線に対して中間監視を適用し、幾何的整合性を強制し、学習の安定性を向上させる。
• データ駆動的に複数の画像間の特徴を適応的に統合するため、学習可能なマルチヘッド自己注意モジュール（PMA）をデコード段階に統合する。
• モデルを新たに導入された合成データセットCyclesPS+上で学習させ、多様で現実的な照明および表面の変動を提供することで、一般化性能を強化する。
• 注目処理中にダウンサンプリングを回避することで、ネットワーク全体にわたり空間分解能と微細な表面ディテールを保持する。

実験結果

リサーチクエスチョン

• RQ1 従来のプーリングや線形演算が失敗するスパース光度ステレオ観測間の高次元相互作用を、自己注意機構が効果的にモデル化できるか。
• RQ2 画素単位と画像単位の特徴抽出を分離する二重ブランチ設計が、画像枚数が少ない光度ステレオにおいて性能向上に寄与する程度は。
• RQ3 自己注意ベースのアーキテクチャが、スパース設定においても微細な表面ディテールの回復を維持しながらどれほど一般化できるか。
• RQ4 表面法線に対する中間監視が、スパース光度ステレオにおける幾何的妥当性と最終予測精度を向上させるか。
• RQ5 入力画像枚数が限られる状況下で、自己注意ベースのモデルはCNNベースやセットプーリングベースのベースラインと比べてどれほど優れた性能を示すか。

主な発見

• PS-Transformerは、ベンチマークデータセットにおいて、わずか8枚の入力画像でも最先端の表面法線予測精度を達成し、10倍の画像を用いて学習された既存手法を上回る。
• SPS-Net (8×8) よりも顕著な予測誤差の低減を示しており、二重ブランチ設計と注意ベースの特徴統合の有効性が裏付けられる。
• DiLiGenT-MVデータセットにおいて、PS-Transformerはすべてのベースラインと比較してノイズが少なく、より詳細な表面法線マップを生成し、一貫した質的優位性を示す。
• 10枚を超える入力ビューでテストした際も安定した性能を維持するが、顕著な向上は認められないことから、密な設定への一般化能力には限界があることが示唆される。
• アブレーションスタディにより、自己注意機構と中間監視がスパース設定における性能向上の主な要因であることが確認された。
• SPS-Net (8×8) が (32×32) よりも優れた性能を示すことは、局所的なシャドー変動のモデリングが、グローバル特徴集約よりも効果的であることを示唆し、PS-Transformerの設計選択を裏付ける。