[논문 리뷰] Manifold-Preserving Superpixel Hierarchies and Embeddings for the Exploration of High-Dimensional Images

Alexander Vieth, Boudewijn P. F. Lelieveldt외 3명|arXiv (Cornell University)|2026. 02. 27.

Advanced Image and Video Retrieval Techniques인용 수 0

한 줄 요약

본 논문은 이미지 레이아웃과 고차원 속성 매니폴드를 연결하는 superpixel 계층 구조를 도입하고, random-walk–based 유사성을 이용하여 다중 추상화 수준에서 매니폴드를 보존하는 임베딩을 구축한다.

ABSTRACT

High-dimensional images, or images with a high-dimensional attribute vector per pixel, are commonly explored with coordinated views of a low-dimensional embedding of the attribute space and a conventional image representation. Nowadays, such images can easily contain several million pixels. For such large datasets, hierarchical embedding techniques are better suited to represent the high-dimensional attribute space than flat dimensionality reduction methods. However, available hierarchical dimensionality reduction methods construct the hierarchy purely based on the attribute information and ignore the spatial layout of pixels in the images. This impedes the exploration of regions of interest in the image space, since there is no congruence between a region of interest in image space and the associated attribute abstractions in the hierarchy. In this paper, we present a superpixel hierarchy for high-dimensional images that takes the high-dimensional attribute manifold into account during construction. Through this, our method enables consistent exploration of high-dimensional images in both image and attribute space. We show the effectiveness of this new image-guided hierarchy in the context of embedding exploration by comparing it with classical hierarchical embedding-based image exploration in two use cases.

연구 동기 및 목표

• 이미지 구조를 속성 공간 매니폴드와 통합하여 매우 큰 고차원 이미지를 탐구하도록 동기를 부여한다.
• 이미지 공간 집계 과정에서 매니폴드 기하를 보존하는 superpixel 계층 구조를 제안한다.
• 계층 구성과 계층 임베딩을 모두 이끌기 위한 random-walk–based 유사도 측정을 개발한다.
• 본 방법이 간결하고 공간적으로 의미 있는 임베딩과 경쟁력 있는 계층 품질을 산출함을 입증한다.
• 하이퍼스펙트럴 및 고도로 다중화된 이미징에서의 도구와 증거를 제공하여 방법을 검증한다.

제안 방법

• 데이터 매니폴드를 근사하기 위해 연결된 k-최근접 이웃 그래프를 이용해 픽셀 속성 위에 이웃 그래프를 구성한다.
• 속성 그래프에서 random-walk 기반 전이 확률을 계산하여 국소 이웃을 설명한다.
• random-walk 특성 분포 간 Bhattacharyya 계수 유사성에 따라 Borůvka 유사 반복처럼 슈퍼픽셀을 병합한다.
• 각 수준에서 해당 노드를 병합하고 그에 따라 전이 행렬을 업데이트하여 각 슈퍼픽셀을 표현한다.
• 각 계층 수준에서 random-walk 특징으로부터 도출된 Bhattacharyya 기반 거리로 t-SNE/UMAP 거리를 대체하여 임베딩을 계산한다.
• 선택된 슈퍼픽셀에 초점을 맞추고 유사도 임계값으로 부분집합을 확장하는 등 임베딩 확정을 가능하게 한다.

Figure 1 : Image Hierarchies: Classical image-space-based hierarchies, like image pyramids, progressively blur and subsample the image (a). Attribute-space-based hierarchies, as used in hierarchical DR methods (b), ignore the image space entirely and only aim to preserve manifold structure of the at

실험 결과

연구 질문

• RQ1 이미지 공간과 고차원 속성 데이터의 매니폴드 구조를 모두 반영하는 superpixel 계층 구조는 어떻게 구성할 수 있는가?
• RQ2 random-walk–based 유사성이 계층 구성과 임베딩 모두에 대해 견고하고 매니폴드를 보존하는 거리로 제공될 수 있는가?
• RQ3 이미지 가이드형 계층 구조가 전통적인 이미지 비의존적 DR 방법보다 더 간결하고 공간적으로 일관된 임베딩을 산출하는가?
• RQ4 제안된 접근법이 큰 고차원 이미지에 확장 가능하며 임베딩의 정제를 통한 대화형 탐색을 지원하는가?

주요 결과

• 제안된 매니폴드 보존형 superpixel 계층 구조는 HSNE와 같은 이미지 비의존적 기준선보다 공간적으로 더 일관되고 간결한 임베딩을 산출한다.
• 속성 그래프에서의 random-walk 특징으로 구축된 Bhattacharyya 기반 유사성이 슈퍼픽셀 병합과 이웃 임베딩을 효과적으로 이끈다.
• 본 방법은 높은 차원의 이미지 데이터를 개관 먼저, 세부 정보는 필요에 따라 탐색하는 등 경쟁력 있는 계층 품질을 보여주었다.
• 상위 추상화 수준의 임베딩은 기본 계층 DR 방법에 비해 더 적은 랜드마크로 공간적 영역을 표현할 수 있다.
• 이 방법은 부분 집합 정제를 지원하여 계층적 맥락을 잃지 않으면서 표적화된 대화형 확대를 가능하게 한다.

Figure 2 : Graph structures : 4-connected image graph $\mathcal{I}$ (left) and attribute-based graph $\mathcal{G}$ (right). Different neighborhoods of the same node 1 are highlighted in grey.