[論文レビュー] A General Protocol to Probe Large Vision Models for 3D Physical Understanding

Guanqi Zhan, Chuanxia Zheng+2 more|arXiv (Cornell University)|Oct 10, 2023

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本稿では、Stable Diffusion などの大規模な拡散モデルがシーンの3次元物理的特性をどの程度理解しているかを評価する一般化可能なプローブプロトコルを提案する。実画像データセットに3次元特性のアノテーションを付与し、モデルの異なる層および時間ステップにおける特徴に線形プローブを適用することで、Stable Diffusion は幾何学的性質、支持関係、影、深度のモデリングにおいて優れた性能を示す。これは、DINO や CLIP といった自己教師ありモデルを上回るが、素材や隠蔽の理解については苦戦している。

ABSTRACT

Our objective in this paper is to probe large vision models to determine to what extent they 'understand' different physical properties of the 3D scene depicted in an image. To this end, we make the following contributions: (i) We introduce a general and lightweight protocol to evaluate whether features of an off-the-shelf large vision model encode a number of physical 'properties' of the 3D scene, by training discriminative classifiers on the features for these properties. The probes are applied on datasets of real images with annotations for the property. (ii) We apply this protocol to properties covering scene geometry, scene material, support relations, lighting, and view-dependent measures, and large vision models including CLIP, DINOv1, DINOv2, VQGAN, Stable Diffusion. (iii) We find that features from Stable Diffusion and DINOv2 are good for discriminative learning of a number of properties, including scene geometry, support relations, shadows and depth, but less performant for occlusion and material, while outperforming DINOv1, CLIP and VQGAN for all properties. (iv) It is observed that different time steps of Stable Diffusion features, as well as different transformer layers of DINO/CLIP/VQGAN, are good at different properties, unlocking potential applications of 3D physical understanding.

研究の動機と目的

• 大規模な拡散モデル（例：Stable Diffusion）が、シーンの3次元物理的特性を暗黙的に学習しているかどうかを調査すること。
• 複数の物理的属性にわたる3次元シーン理解を評価可能な汎用的なプローブプロトコルを開発すること。
• Stable Diffusion と自己教師ありモデル（例：DINO, CLIP）の間で、3次元シーン特性のモデリング性能を比較すること。
• 拡散プロセスにおけるどの層や時間ステップが特定の3次元特性に対して最も情報を含む特徴をエンコードしているかを同定すること。
• 今後の3次元認識タスクにおける拡散モデル特徴の利用を想定したベンチマークを提供すること。

提案手法

• 3段階のプローブプロトコルを適用する：(1) 特定の3次元特性（例：SOBA における影）のアノテーションが付与された実画像データセットを選択し、(2) 拡散モデルの層と時間ステップのグリッドサーチにより最適な特徴を同定し、(3) その特徴に基づいて線形分類器を学習させ、特性を予測する。
• Off-the-shelf の Stable Diffusion の潜在空間から特徴を抽出する。領域レベルの表現は、アノテートされた物体またはシーン領域に対して平均プーリングを適用することで得る。
• 各特性について、検証セットの性能に基づき最良の層と時間ステップを選択し、最終的なモデルはテストセットで ROC AUC を用いて評価する。
• 比較分析のため、他の事前学習モデル（OpenCLIP, DINOv1, DINOv2）に対しても同じプロトコルを適用する。
• 微調整を一切行わず、特徴抽出と線形プローブに依存して3次元理解の評価を行う。
• すべての実験は、インpaintingに類似した条件を再現するために潜在空間にノイズを追加した実画像上で実施される。

実験結果

リサーチクエスチョン

• RQ1 Stable Diffusion は、支持関係や影といった3次元シーンの幾何学的性質や物理的関係をどの程度モデリングしているか？
• RQ2 Stable Diffusion の3次元シーン理解性能は、DINO や CLIP といった自己教師ありモデルと比べてどうか？
• RQ3 拡散プロセスにおけるどの層と時間ステップが3次元シーン特性の最も情報を含む特徴をエンコードしているか？
• RQ4 プローブプロトコルは、拡散モデル内に物理的特性の明示的表現が存在するかどうかを信頼性を持って検出できるか？
• RQ5 素材、隠蔽、深度といった3次元シーン特性の中で、現在の拡散モデルが最も困難に感じているのはどれか？

主な発見

• Stable Diffusion はテストされたすべての3次元シーン特性で最高の性能を示し、深度予測では AUC 99.3 を達成。これは DINOv2（98.0）や OpenCLIP（95.5）を大きく上回る。
• モデルはシーンの幾何学的性質、支持関係、影、深度の理解において強く、それぞれ AUC スコアが 94.4、94.5、99.3 を記録した。
• 素材理解の性能は中程度で AUC 79.4、隠蔽理解が最も弱く AUC 75.6 であり、依然として課題が残っている。
• 最後の層表現を使用しても、DINOv2 や OpenCLIP はすべての特性で Stable Diffusion を下回り、特に隠蔽理解で最大の差（75.6 対 67.9）を示した。
• 最良の層と時間ステップを選択することで、最後の層の性能より最大4%向上したが、それでも Stable Diffusion はデフォルトの最後の層特徴でもすべてのベースラインを上回った。
• プローブプロトコルは、Stable Diffusion が複数の3次元物理的特性を明示的にエンコードしていることを成功裏に同定し、暗黙的な3次元シーン理解が存在することを示唆している。