[論文レビュー] Manifold-Preserving Superpixel Hierarchies and Embeddings for the Exploration of High-Dimensional Images

Alexander Vieth, Boudewijn P. F. Lelieveldt+3 more|arXiv (Cornell University)|Feb 27, 2026

Advanced Image and Video Retrieval Techniques被引用数 0

ひとこと要約

本論文は、画像レイアウトと高次元属性流形を結合するスーパーピクセル階層を提案し、ランダムウォークに基づく類似度を用いて多段階の抽象レベルで流れを保つ埋め込みを構築する。

ABSTRACT

High-dimensional images, or images with a high-dimensional attribute vector per pixel, are commonly explored with coordinated views of a low-dimensional embedding of the attribute space and a conventional image representation. Nowadays, such images can easily contain several million pixels. For such large datasets, hierarchical embedding techniques are better suited to represent the high-dimensional attribute space than flat dimensionality reduction methods. However, available hierarchical dimensionality reduction methods construct the hierarchy purely based on the attribute information and ignore the spatial layout of pixels in the images. This impedes the exploration of regions of interest in the image space, since there is no congruence between a region of interest in image space and the associated attribute abstractions in the hierarchy. In this paper, we present a superpixel hierarchy for high-dimensional images that takes the high-dimensional attribute manifold into account during construction. Through this, our method enables consistent exploration of high-dimensional images in both image and attribute space. We show the effectiveness of this new image-guided hierarchy in the context of embedding exploration by comparing it with classical hierarchical embedding-based image exploration in two use cases.

研究の動機と目的

• 巨大な高次元画像を画像構造と属性空間流形の統合によって探究する動機づけ。
• 画像空間の集約中に流形ジオメトリを preserving するスーパーピクセル階層を提案。
• 階層構築と階層埋め込みの両方を駆動するためのランダムウォーク基づき類似度測度を開発。
• 提案手法が、凝縮で空間的に意味のある埋め込みと競争力のある階層品質を実現することを demonstrate。
• 方法を検証するためのハイパースペクトル成分画像および高度に多重化された画像データからのツールと証拠を提供。

提案手法

• データ流形を近似するため、接続された k-最近傍グラフ上にピクセル属性の近傍グラフを構築。
• 属性グラフ上でランダムウォークに基づく遷移確率を計算し、局所近傍を記述。
• Bhattacharyya係数に基づくランダムウォーク特徴分布間の類似度を導く Borůvka様反復によってスーパーピクセルを統合。
• 各レベルで対応するノードを統合し遷移行列を更新して各スーパーピクセルを表現。
• t-SNE/UMAP距離の代わりにランダムウォーク特徴から派生した Bhattacharyya に基づく距離を用いて各階層で埋め込みを計算。
• 埋め込み確率をスライスして選択したスーパーピクセルに焦点を当て、必要に応じて類似閾値でサブセットを拡張することで部分集合埋め込みの精緻化を可能にする。

Figure 1 : Image Hierarchies: Classical image-space-based hierarchies, like image pyramids, progressively blur and subsample the image (a). Attribute-space-based hierarchies, as used in hierarchical DR methods (b), ignore the image space entirely and only aim to preserve manifold structure of the at

実験結果

リサーチクエスチョン

• RQ1 高次元属性データの流形構造と画像空間の両方を尊重するスーパーピクセル階層をどのように構築できるか？
• RQ2 ランダムウォークに基づく類似度は、階層構築と埋め込みのための頑健で流形を preserving する距離を提供するか？
• RQ3 画像誘導階層は、従来の画像非依存型階層DR手法よりも凝縮で空間的に整合性のある埋め込みを生み出すか？
• RQ4 提案手法は大規模な高次元画像に対してスケールし、埋め込みの refinement によるインタラクティブな探索をサポートするか？

主な発見

• 提案された流形を保つスーパーピクセル階層は、HSNEのような画像非依存基準よりも空間的に整合性が高く凝縮された埋め込みを生み出す。
• 属性グラフ上のランダムウォーク特徴から構築された Bhattacharyya ベースの類似度は、スーパーピクセルの統合と近傍埋め込みの両方を効果的に導く。
• 手法は競争力のある階層品質を示しつつ、高次元画像データの概要優先・詳細要求の探索を可能にした。
• 上位抽象レベルの埋め込みは、従来の階層的DR手法と比較してランドマーク数を減らして空間的領域を表現できる。
• サブセットの精緻化をサポートし、階層的文脈を失うことなく対象のインタラクティブなズームを実現する。

Figure 2 : Graph structures : 4-connected image graph $\mathcal{I}$ (left) and attribute-based graph $\mathcal{G}$ (right). Different neighborhoods of the same node 1 are highlighted in grey.