[논문 리뷰] On the Interpretability and Evaluation of Graph Representation Learning

Αντωνία Γώγογλου, C. Bayan Bruss외 1명|arXiv (Cornell University)|2019. 10. 07.

Advanced Graph Neural Networks참고 문헌 17인용 수 5

한 줄 요약

이 논문은 임베딩 차원이 내재된(예: 커뮤니티) 및 외재된(예: 노드 레이블) 노드 그룹화와 얼마나 잘 일치하는지 수량화할 수 있는 해석 가능성 점수(Interpretability Score)를 도입하여 그래프 표현 학습을 해석하고 평가하는 프레임워크를 제안한다. 임베딩 품질은 작업과 하이퍼파라미터에 따라 크게 달라지며, 링크 예측과 커뮤니티 탐지 작업은 서로 다른 차원 설정을 선호함을 보여주며, 표준 벤치마크를 넘어서 다축 평가의 필요성을 강조한다.

ABSTRACT

With the rising interest in graph representation learning, a variety of approaches have been proposed to effectively capture a graph's properties. While these approaches have improved performance in graph machine learning tasks compared to traditional graph techniques, they are still perceived as techniques with limited insight into the information encoded in these representations. In this work, we explore methods to interpret node embeddings and propose the creation of a robust evaluation framework for comparing graph representation learning algorithms and hyperparameters. We test our methods on graphs with different properties and investigate the relationship between embedding training parameters and the ability of the produced embedding to recover the structure of the original graph in a downstream task.

연구 동기 및 목표

• 학습된 노드 임베딩의 해석 가능성을 보장하기 위해 그래프 표현 학습의 투명성 부족 문제를 해결하기 위해 노력한다.
• 다양한 그래프 성질과 후행 작업을 통해 임베딩 품질을 평가하는 강력한 다차원 평가 프레임워크를 개발한다.
• 하이퍼파라미터(예: 임베딩 차원 수)가 표현이 그래프의 구조적 및 의미적 정보를 얼마나 잘 복원할 수 있는지에 미치는 영향을 조사한다.
• 모든 작업에서 최고 성능을 내는 단일 임베딩 방법 또는 하이퍼파라미터 설정이 존재하는지 확인한다.

제안 방법

• 각 임베딩 차원의 상위/하위 k개 값과 사전 정의된 노드 그룹(예: 커뮤니티 또는 레이블) 간의 겹침을 기반으로 해석 가능성 점수(IS)를 제안한다.
• 집합 교차 비율을 사용하여 각 차원 및 각 그룹별로 IS를 계산한다: $IS_{top(d,l)} = \frac{|C_l \cap top_k(E_d)|}{|C_l|} \times 100$.
• 해석 가능성 점수를 차원(각 그룹별) 또는 그룹(각 차원별)으로 집계하여 총합 해석 가능성 수준을 평가하기 위해 최대값 또는 평균을 사용한다.
• 랜덤 워크 기반 모델(예: Gensim을 통한 word2vec)을 활용하여 세 개의 데이터셋(Brand Level Merchants, BlogCatalog, Flickr)에서 노드 임베딩을 생성한다.
• 이를 바탕으로 세 가지 후행 작업(이진/다중 분류 노드 분류, 커뮤니티 탐지(Louvain), 링크 예측(AUC))을 평가한다.
• 모든 데이터셋에 동일한 평가 파이프라인과 일관된 하이퍼파라미터를 적용하여 임베딩 차원 수의 영향을 고립적으로 분석한다.

실험 결과

연구 질문

• RQ1 개별 임베딩 차원이 특정 노드 커뮤니티나 레이블에 대해 의미 있는 구조적 또는 의미적 정보를 얼마나 잘 캡처하는가?
• RQ2 임베딩 차원 수가 커뮤니티 탐지, 노드 분류, 링크 예측 등의 다양한 후행 작업에서 성능에 어떻게 영향을 미치는가?
• RQ3 해석 가능성 점수가 후행 작업에서 임베딩의 효과성을 예측할 수 있는가?
• RQ4 모든 작업에서 잘 작동하는 단일 최적의 임베딩 차원이 존재하는가, 아니면 성능은 작업 및 그래프 구조에 따라 달라지는가?

주요 결과

• 해석 가능성 점수는 특정 임베딩 차원이 특정 노드 커뮤니티나 레이블과 강하게 연관되어 있음을 드러내며, 이는 분리된 표현 학습을 의미한다.
• Brand Level Merchants와 BlogCatalog에서는 커뮤니티 탐지 성능이 낮은 차원 수(D=10)에서 최고를 기록하지만, 링크 예측은 높은 차원 수(D=128)에서 성능이 향상된다.
• Flickr에서는 링크 예측 AUC가 차원 수에 관계없이 안정적으로 유지되며(≈0.96), 커뮤니티 탐지 성능은 유의미하게 변동하며, D=128일 때 F1 점수가 가장 높다.
• BlogCatalog에서는 외부 노드 분류 성능이 차원 수 증가에 따라 향상되지만, 다른 데이터셋에서는 포화 또는 감소를 보이며, 이는 작업 및 그래프 구조에 따라 최적 설정이 다름을 시사한다.
• 링크 예측이나 노드 분류만으로는 임베딩 품질을 균일하게 캡처하지 못하며, 커뮤니티 탐지와 같은 구조적 작업이 표현 품질에 대한 보완적 통찰을 제공한다.
• 이 연구는 단일 목표(예: 링크 예측) 최적화가 모든 후행 작업에서 최적의 표현을 도출하지 못할 수 있음을 입증하며, 다축 평가의 필요성을 강조한다.