[논문 리뷰] ActiveHNE: Active Heterogeneous Network Embedding

Xia Chen, Guoxian Yu외 4명|arXiv (Cornell University)|2019. 05. 14.

Advanced Graph Neural Networks참고 문헌 23인용 수 9

한 줄 요약

ActiveHNE는 이질적 네트워크 임베딩을 위한 새로운 주체 학습 프레임워크를 제안하며, 불완전한 그래프 컨볼루션 네트워크와 불확실성 및 대표성 기반 주체 질의 전략을 결합한다. 다중 손실 밴딧을 활용해 정보가 가장 많은 노드를 동적으로 선택함으로써, 실제 이질적 네트워크(HIN)에서 레이블링 비용을 크게 줄이고도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Heterogeneous network embedding (HNE) is a challenging task due to the diverse node types and/or diverse relationships between nodes. Existing HNE methods are typically unsupervised. To maximize the profit of utilizing the rare and valuable supervised information in HNEs, we develop a novel Active Heterogeneous Network Embedding (ActiveHNE) framework, which includes two components: Discriminative Heterogeneous Network Embedding (DHNE) and Active Query in Heterogeneous Networks (AQHN). In DHNE, we introduce a novel semi-supervised heterogeneous network embedding method based on graph convolutional neural network. In AQHN, we first introduce three active selection strategies based on uncertainty and representativeness, and then derive a batch selection method that assembles these strategies using a multi-armed bandit mechanism. ActiveHNE aims at improving the performance of HNE by feeding the most valuable supervision obtained by AQHN into DHNE. Experiments on public datasets demonstrate the effectiveness of ActiveHNE and its advantage on reducing the query cost.

연구 동기 및 목표

• 레이블 데이터가 제한된 이질적 네트워크 임베딩(HNE) 문제를 해결하며, 레이블을 확보하는 데 비용이 많이 들고 시간이 오래 걸린다.
• 기존의 비지도 HNE 방법의 한계를 극복하기 위해 감독 정보를 효과적으로 통합한다.
• 노드의 이질성과 구조적 종속성을 고려한 이질적 네트워크에 특화된 주체 학습 전략을 설계한다.
• 가장 정보가 많은 노드를 선택하여 질의 비용을 최소화하면서 임베딩 성능을 극대화한다.

제안 방법

• 다양한 노드 유형과 관계를 처리하기 위해 원본 이질적 정보 네트워크(HIN)를 동질적 및 이분 네트워크 하위 네트워크로 분해한다.
• 하위 네트워크를 통해 특징을 집계함으로써 노드 표현을 학습하는 반감독 GCN 기반 모델인 구분형 이질적 네트워크 임베딩(DHNE)을 제안한다.
• 네트워크 중심성(NC), 컨볼루션 정보 엔트로피(CIE), 컨볼루션 정보 밀도(CID)의 세 가지 주체 선택 전략을 도입하며, 모두 국소 그래프 컨볼루션을 활용해 불확실성과 대표성을 평가한다.
• 다중 손실 밴딧 메커니즘을 사용해 세 전략을 융합하여 배치 주체 학습을 수행하며, 노드 선택에서 탐색과 이용의 균형을 이룬다.
• 밴딧 정책에 의해 식별된 가장 가치 있는 노드에 대해 반복적으로 레이블을 질의하고, 업데이트된 레이블로 DHNE를 재학습한다.
• 이웃 유형 다양성과 차수 기반의 노드 중요도 메트릭을 컨볼루션 필터 내부에 통합하여 네트워크의 이질성과 구조에 대한 민감도를 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 노드 유형과 관계를 가진 이질적 네트워크에 주체 학습을 효과적으로 적용할 수 있는 방법은 무엇인가?
• RQ2 불확실성과 대표성을 모두 고려할 때, HIN에서 가장 정보가 많은 노드를 식별하는 데 가장 효과적인 선택 전략은 무엇인가?
• RQ3 다중 손실 밴딧 프레임워크는 여러 선택 기준을 동적으로 균형 잡는 데서 주체 학습의 효율성과 성능을 향상시킬 수 있는가?
• RQ4 기본 기반 방법과 비교했을 때, ActiveHNE는 레이블링 비용을 얼마나 줄일 수 있으며, 임베딩 정확도는 유지 또는 향상시키는가?
• RQ5 그래프 컨볼루션에서 이웃 순서(K)의 선택에 따라 ActiveHNE의 성능는 얼마나 민감하게 변하는가?

주요 결과

• MovieLens, Cora, DBLP 데이터셋에서 ActiveHNE는 최신 기술 수준의 방법들과 비교해 우수하거나 유사한 분류 정확도를 달성하며, 대부분의 비교에서 p-value < 3×10⁻⁶를 기록한다.
• 프레임워크는 빠른 수렴과 낮은 레이블링 요구량을 통해 질의 비용을 크게 줄였다.
• 다중 손실 밴딧을 통한 선택 전략 융합(NC, CIE, CID)은 개별 전략보다 더 높은 누적 보상과 향상된 성능을 이끌어내며, 중복된 노드 선택로 인해 보상 합계 ≥1을 기록한다.
• 초기에는 네트워크 중심성(NC)이 더 큰 기여를 하지만, 더 많은 레이블 데이터가 확보될수록 CIE와 CID가 더 신뢰할 수 있게 되어 NC의 중요도는 점차 감소한다.
• 최적의 이웃 순서(K)는 데이터셋에 따라 다르며, MovieLens에서는 K=1이 가장 우수하고, Cora에서는 K=2가 더 우수함을 보여, 고차 구조가 항상 유리한 것은 아님을 시사한다.
• DHNE는 metapath2vec과 HHNE보다 빠르며, AQHN은 AGE와 ANRMAB보다 느리지만 더 효과적인 노드를 선택함으로써 더 뛰어난 임베딩 성능을 달성한다.