[論文レビュー] Diffusion Hyperfeatures: Searching Through Time and Space for Semantic Correspondence

Grace Luo, Lisa Dunlap+3 more|arXiv (Cornell University)|May 23, 2023

Semantic Web and Ontologies被引用数 33

ひとこと要約

Diffusion Hyperfeaturesは拡散モデルの特徴を時刻と層全体に渡ってピクセルごとの記述子に集約し、意味的キー点対応を実現します。SPair-71kで最先端の結果を達成し、合成データへ転送します。

ABSTRACT

Diffusion models have been shown to be capable of generating high-quality images, suggesting that they could contain meaningful internal representations. Unfortunately, the feature maps that encode a diffusion model's internal information are spread not only over layers of the network, but also over diffusion timesteps, making it challenging to extract useful descriptors. We propose Diffusion Hyperfeatures, a framework for consolidating multi-scale and multi-timestep feature maps into per-pixel feature descriptors that can be used for downstream tasks. These descriptors can be extracted for both synthetic and real images using the generation and inversion processes. We evaluate the utility of our Diffusion Hyperfeatures on the task of semantic keypoint correspondence: our method achieves superior performance on the SPair-71k real image benchmark. We also demonstrate that our method is flexible and transferable: our feature aggregation network trained on the inversion features of real image pairs can be used on the generation features of synthetic image pairs with unseen objects and compositions. Our code is available at https://diffusion-hyperfeatures.github.io.

研究の動機と目的

• 拡散モデルの内部表現を、層とタイムステップ全体に分散させたものを単一のピクセルあたりの記述子に統合する。
• 反転による実画像の頑健な記述子の抽出と、生成による合成画像の記述子の抽出を可能にする。
• 拡散特徴をセマンティック対応の重み付けに用いる解釈可能な特徴集約ネットワークを学習する。
• SPair-71kでベースラインより改善された意味的キー点一致を実証し、新しいドメインへの転移性を示す。）

提案手法

• 層とタイムステップ全体にわたる生成（合成）プロセスと反転（実画像）プロセスのすべての中間拡散特徴を抽出する。
• ボトルネック層を持つ軽量な集約ネットワークを用いて特徴を標準化し、層-タイムステップペア間の混合重みを学習する。
• 標準化された特徴マップの加重和として特徴を集約し、Diffusion Hyperfeaturesを生成する。
• 意味的キーポイント対応を用いた教師信号で、対称的クロスエントロピー損失（コサイン類似度ベースのマッチング）を用いて集約器を訓練する。
• Diffusion Hyperfeatures上の最近傍マッチングで評価し、SPair-71kおよびCUBの真のキーポイントと比較する；合成データへのオープンドメイン転移を評価する。

実験結果

リサーチクエスチョン

• RQ1 時系列と層に分散した拡散モデルの特徴を、意味的対応のための単一のピクセルあたりの記述子に効果的に蒸留できるか？
• RQ2 解釈可能な集約ネットワークは、意味的キー点マッチングにとって最も情報量の多い拡散特徴をどの程度特定できるか？
• RQ3 Diffusion Hyperfeaturesは実画像から合成画像へ、また未見の物体カテゴリ間で一般化するか？
• RQ4 性能における反転特徴（実画像）と生成特徴（合成画像）の使用の影響は何か？

主な発見

モデル	層	タイムステップ	PCK@0.1_img (SPair-71k)	PCK@0.1_bbox (SPair-71k)	PCK@0.1_img (CUB)	PCK@0.1_bbox (CUB)
DINO	1	-	51.68	41.04	72.72	55.90
DHPF	34	-	55.28	42.63	77.30	61.42
SD-Layer-4	1	1	58.80	46.58	78.43	61.22
SD-Concat-All	12	1	52.12	41.83	70.22	54.05
Ours	12	11	72.56	64.61	82.29	69.42
Ours-One-Step	12	1	63.74	54.69	76.59	62.11
SD-Layer-Pruned	1	1	57.69	48.16	80.67	67.21
Ours-Pruned	1	1	64.02	53.74	79.10	63.95
Ours-SDv2-1	12	11	70.74	64.85	80.39	68.04

• Diffusion HyperfeaturesはSPair-71kでPCK@0.1_imgにおいてベースラインを大幅に上回る（例：Layer-4の72.56対58.80、prunedで64.02など）他のバリアントでも。
• 全層・全タイムステップで特徴を集約すると、単一層や単純連結ベースラインに比べて大きな性能向上をもたらす（PCK@0.1_imgで14ポイント）。
• 学習された混合重みは、意味的対応にとって最も情報量の多い層-タイムステップの組み合わせを示し、精度を大きく損なうことなく剪定を可能にする。
• 反転ベースの特徴（実画像）は後のタイムステップで生成ベースの特徴よりも意味内容をより忠実に提供し、集約ネットワークは合成データへ転移できる。
• 実画像の反転特徴で学習した集約ネットワークは、未見の物体カテゴリからの合成生成特徴へ一般化し、DINOと単一層拡散のベースラインを上回る。