[논문 리뷰] EmbeddingVis: A Visual Analytics Approach to Comparative Network Embedding Inspection

Quan Li, Kristanto Sean Njotoprawiro외 4명|arXiv (Cornell University)|2018. 08. 28.

Complex Network Analysis Techniques참고 문헌 41인용 수 4

한 줄 요약

EmbeddingVis는 클러스터, 인스턴스 및 구조 수준에서 여러 모델 간 네트워크 임베딩 벡터를 비교 검토할 수 있는 시각적 분석 시스템이다. 제어 패널, 그래프 뷰, 클러스터 전이, 상호 순위 매기기, 구조 뷰 등의 상호작용 가능한 뷰를 통합하여, 다양한 임베딩 모델이 노드 지표를 어떻게 유지하는지 파악할 수 있게 하며, 전문가 피드백을 통해 시스템의 효과성이 입증되었다.

ABSTRACT

Constructing latent vector representation for nodes in a network through embedding models has shown its practicality in many graph analysis applications, such as node classification, clustering, and link prediction. However, despite the high efficiency and accuracy of learning an embedding model, people have little clue of what information about the original network is preserved in the embedding vectors. The abstractness of low-dimensional vector representation, stochastic nature of the construction process, and non-transparent hyper-parameters all obscure understanding of network embedding results. Visualization techniques have been introduced to facilitate embedding vector inspection, usually by projecting the embedding space to a two-dimensional display. Although the existing visualization methods allow simple examination of the structure of embedding space, they cannot support in-depth exploration of the embedding vectors. In this paper, we design an exploratory visual analytics system that supports the comparative visual interpretation of embedding vectors at the cluster, instance, and structural levels. To be more specific, it facilitates comparison of what and how node metrics are preserved across different embedding models and investigation of relationships between node metrics and selected embedding vectors. Several case studies confirm the efficacy of our system. Experts' feedback suggests that our approach indeed helps them better embrace the understanding of network embedding models.

연구 동기 및 목표

• 추상적이고 고차원적인 벡터 표현과 확률적 학습 과정으로 인해 네트워크 임베딩 모델의 투명성이 떨어지는 문제를 해결하기 위해.
• 중앙성, 군집성, 이웃 구조와 같은 노드 수준의 지표가 어떻게 다양한 임베딩 모델에 의해 유지되는지 깊이 있고 상호작용 가능한 탐색을 지원하기 위해.
• 다양한 연결된 뷰를 통해 노드와 지표를 연결함으로써, 여러 모델 간의 임베딩 결과를 비교할 수 있도록 하기 위해.
• 유지된 구조적 및 지표적 성질을 시각적 점검을 통해 전문가가 임베딩 행동을 이해할 수 있도록 지원하기 위해.
• 반복적이고 가설 기반의 임베딩 공간 탐색을 지원하는 확장 가능한 상호작용 프레임워크를 제공하기 위해.

제안 방법

• 제어 패널, 그래프 뷰, 클러스터 전이 뷰, 상호 순위 매기기 뷰, 구조 뷰를 포함한 다중 뷰 시각적 분석 시스템을 설계한다.
• 라소 기반 선택을 사용하여 다양한 임베딩 공간 간에 해당하는 노드를 강조 표시함으로써, 클러스터 수준의 모델 간 비교를 가능하게 한다.
• 선택된 '허브' 노드에 대해 다양한 임베딩 공간(예: DeepWalk, struc2vec, node2vec)에서 네 개의 이웃 순위 목록을 생성하고 표시하여 이웃 유지 정도를 비교한다.
• 각 순위 목록의 노드를 클러스터 전이 뷰에서 강조 표시하는 필터링 메커니즘을 통합하여, 노드 분포의 동적 비교를 가능하게 한다.
• 다른 임베딩 공간에서 인접한 노드 간 유클리드 거리를 시각화하여 구조적 정밀도와 안정성을 평가한다.
• 고차원 임베딩의 2차원 투영을 위해 t-SNE를 활용하며, 프론트엔드에서 반복 과정을 상호작용적으로 시각화한다.

실험 결과

연구 질문

• RQ1 사용자가 다양한 네트워크 임베딩 모델 간에 중심성, 군집성, 이웃 구조와 같은 노드 수준의 지표가 어떻게 유지되는지 효과적으로 비교할 수 있는가?
• RQ2 클러스터, 인스턴스 및 구조 수준에서 임베딩 벡터의 비교 탐색을 지원하는 데 가장 효과적인 상호작용 시각 디자인 패턴은 무엇인가?
• RQ3 다양한 임베딩 모델(예: DeepWalk, struc2vec, node2vec)이 인스턴스 수준에서 핵심 네트워크 지표를 어떻게 유지하거나 왜곡하는가?
• RQ4 시각적 분석이 실무자들이 임베딩 결과를 해석하는 데 있어 시행착오의 부담을 어느 정도 줄일 수 있는가?
• RQ5 제시된 예시 외의 사용자 정의 지표 및 추가 임베딩 모델을 지원하기 위해 시스템을 어떻게 일반화할 수 있는가?

주요 결과

• 전문가들은 EmbeddingVis가 임베딩 공간 간에 노드와 클러스터를 직관적이고 연결된 방식으로 탐색할 수 있도록 해주어 수동 비교의 인지적 부담을 크게 줄였다며 평가했다.
• 시스템의 조율된 뷰는 특정 지표(예: 이웃 구조 또는 중심성)를 더 효과적으로 유지하는 임베딩 모델을 식별하는 데 도움이 되었으며, 기존 2차원 투영보다 유의미한 성능 향상을 보였다.
• 클러스터 전이 뷰는 다양한 임베딩 모델 간의 노드 분포 차이를 효과적으로 드러내었으며, 유지되거나 왜곡된 관계를 강조하는 시각적 신호를 제공했다.
• 상호 순위 매기기 뷰를 통해 이웃 목록을 직접 비교할 수 있었으며, struc2vec가 DeepWalk 및 node2vec에 비해 더 변동성이 큰 거리 패턴을 보임을 확인했다.
• 전문가들은 시스템이 임베딩 벡터와 기반 네트워크 지표 간의 숨겨진 관계를 드러내는 데 유용하다고 강조했으며, 이를 '새로운 방식이면서 매우 상호작용적인 접근'이라고 평가했다.
• t-SNE의 백엔드 처리와 대규모 네트워크를 위한 WebGL 기반 렲팅으로의 이행을 통해 시스템의 확장 가능성 잠재력을 입증했다.