[논문 리뷰] Network Signatures from Image Representation of Adjacency Matrices: Deep/Transfer Learning for Subgraph Classification

Kshiteesh Hegde, Malik Magdon‐Ismail외 2명|arXiv (Cornell University)|2018. 04. 17.

Complex Network Analysis Techniques참고 문헌 16인용 수 5

한 줄 요약

이 논문은 깊이 학습과 전이 학습을 통해 고정확도의 부분 그래프 분류를 가능하게 하는 그래프 인접 행렬의 새로운 이미지 기반 표현을 제안한다. 순열에 불변인 인접 행렬을 구조적인 2차원 이미지로 변환함으로써, 훈련 데이터가 극히 적은 상황에서도 소규모 부분 그래프로부터 부모 네트워크를 식별하는 데 90% 이상의 정확도를 달성하며, 사전 훈련된 이미지 모델의 지식을 그래프 도메인으로 성공적으로 전이하여 자료 부족 상황에서도 강력한 내성성을 확보한다.

ABSTRACT

We propose a novel subgraph image representation for classification of network fragments with the targets being their parent networks. The graph image representation is based on 2D image embeddings of adjacency matrices. We use this image representation in two modes. First, as the input to a machine learning algorithm. Second, as the input to a pure transfer learner. Our conclusions from several datasets are that (a) deep learning using our structured image features performs the best compared to benchmark graph kernel and classical features based methods; and, (b) pure transfer learning works effectively with minimum interference from the user and is robust against small data.

연구 동기 및 목표

• 훈련 데이터가 부족한 상황에서도 부분 그래프의 부모 네트워크를 식별함으로써 부분 그래프 분류 과제를 해결하는 것.
• 인접 행렬의 구조적 이미지 임베딩을 사용해 그래프 분류 문제를 이미지 분류 문제로 효과적으로 재정의할 수 있는지 탐색하는 것.
• 사전 훈련된 이미지 모델(예: ImageNet에서 훈련된 Caffe)에서의 전이 학습이 완전히 관련 없는 도메인인 그래프 분류에 얼마나 효과적인지 평가하는 것.
• 실제 네트워크(예: 테러리즘 네트워크 또는 인용 네트워크)에서 흔한 저자료 제약 상황에서 이 방법의 내성성 여부를 평가하는 것.
• 이미지 기반 접근법이 전통적인 그래프 커널 및 특징 기반 방법과 비교해 성능가능성 여부를 평가하는 것.

제안 방법

• Wu 등(2016)의 방법을 사용해 노드 재정렬에 대해 구조적 일관성을 유지하는 순열에 불변인 인접 행렬을 구성한다.
• 각 픽셀이 간선(1) 또는 비간선(0)에 해당하는 2차원 이미지 표현으로 인접 행렬을 변환하여 손실 없는 이미지 임베딩을 형성한다.
• 구조적인 이미지 임베딩에 직접 딥 네트워크를 적용하여 엔드 투 엔드 부분 그래프 분류를 수행한다.
• 사전 훈련된 Caffe 모델(이미지넷에서 훈련)을 블랙박스 전이 학습기로 사용하여 이미지 임베딩을 통과시켜 클래스 확률 벡터를 추출한다.
• 거리 기반 히우리스틱(예: 자카르드 거리)과 K-최근접 이웃을 사용해 Caffe 출력 벡터를 원본 네트워크 도메인으로 매핑하여 분류한다.
• 라벨-벡터 공간에서 K-최근접 이웃에 대한 다수결 규칙을 적용하여 각 부분 그래프에 최종 네트워크 레이블을 할당한다.

실험 결과

연구 질문

• RQ1 구조적인 이미지 표현 방식이 전통적인 그래프 커널 및 특징 기반 방법보다 부분 그래프 분류에서 더 우수한 성능을 내는가?
• RQ2 사전 훈련된 이미지 분류기(예: ImageNet에서 훈련된 Caffe)에서의 전이 학습이 완전히 관련 없는 도메인인 네트워크 부분 그래프 분류에 얼마나 효과적인가?
• RQ3 특히 테러리즘 네트워크나 인용 네트워크와 같이 실제 세계 네트워크에서 흔한 저자료 제약 상황에서 이 방법의 내성성은 어느 정도인가?
• RQ4 매우 작은 부분 그래프(예: 8~16개 노드)에서 성능이 크게 떨어지는가?
• RQ5 K-최근접 이웃에서 K의 선택이 전이 학습 설정에서 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 이미지 기반 표현은 부모 네트워크가 최대 100만 개의 노드를 포함하더라도 64노드 부분 그래프로부터의 부모 네트워크 식별에서 90% 이상의 정확도를 달성했다.
• 유사 주제의 네트워크 간 쌍별 분류(예: 위키백과 대 웹)는 94.57%의 정확도를 기록했고, 다른 쌍들은 80~90%의 정확도를 기록했다.
• 전이 학습을 사용한 다중 클래스 분류에서 61%의 정확도를 달성하여, 다중 클래스의 복잡성이 증가함에도 불구하고 방법의 실현 가능성과 타당성을 입증했다.
• 전이 학습 접근법은 훈련 데이터의 10%만으로도 여전히 강력한 내성성을 유지하여 자료 부족 상황에 대한 뛰어난 저항성을 보였다.
• K-최근접 이웃 단계에서 K > 15일 경우 성능이 안정되었으며, 이는 이론적 기준을 초과한 이웃 수에 대해 방법이 민감하지 않음을 시사한다.
• 기준 그래프 커널 및 전통적인 특징 기반 접근법보다 성능이 뛰어나, 이미지 표현 방식이 그래프 분류의 보다 우수한 입력으로서의 가능성을 입증했다.