[논문 리뷰] Reinforcement Learning Enhanced Heterogeneous Graph Neural Network.

Zhiqiang Zhong, Cheng–Te Li외 1명|arXiv (Cornell University)|2020. 10. 26.

Advanced Graph Neural Networks참고 문헌 40인용 수 10

한 줄 요약

이 논문은 수동으로 설계된 메타패스에 의존하지 않고 이질적 그래프 신경망에서 최적의 메타패스를 자동으로 학습하는 강화학습 기반 프레임워크인 RL-HGNN을 제안한다. 메타패스 탐색을 마르코프 결정 과정(MDP)으로 모델링하고, 하류 작업 성능을 기반으로 딥 강화학습을 통해 정책 네트워크를 훈련시킴으로써, 복잡한 HIN에서 표현 학습을 향상시키는 의미 있는 데이터 기반 메타패스를 발견한다.

ABSTRACT

Heterogeneous Information Networks (HINs), involving a diversity of node types and relation types, are pervasive in many real-world applications. Recently, increasing attention has been paid to heterogeneous graph representation learning (HGRL) which aims to embed rich structural and semantics information in HIN into low-dimensional node representations. To date, most HGRL models rely on manual customisation of meta paths to capture the semantics underlying the given HIN. However, the dependency on the handcrafted meta-paths requires rich domain knowledge which is extremely difficult to obtain for complex and semantic rich HINs. Moreover, strictly defined meta-paths will limit the HGRL's access to more comprehensive information in HINs. To fully unleash the power of HGRL, we present a Reinforcement Learning enhanced Heterogeneous Graph Neural Network (RL-HGNN), to design different meta-paths for the nodes in a HIN. Specifically, RL-HGNN models the meta-path design process as a Markov Decision Process and uses a policy network to adaptively design a meta-path for each node to learn its effective representations. The policy network is trained with deep reinforcement learning by exploiting the performance of the model on a downstream task. We further propose an extension, RL-HGNN++, to ameliorate the meta-path design procedure and accelerate the training process. Experimental results demonstrate the effectiveness of RL-HGNN, and reveals that it can identify meaningful meta-paths that would have been ignored by human knowledge.

연구 동기 및 목표

• 이질적 그래프 표현 학습(HGRL)에서 수동 메타패스 설계의 한계를 해결하기 위해 전문 지식이 많이 필요한 문제를 해결한다.
• 사전 정의된 메타패스의 유연성 부족으로 인해 HIN 내의 종합적인 구조적 및 의미적 정보에 접근이 제한되는 문제를 해결한다.
• 하류 작업 성능을 향상시키는 종단 간, 적응형 메타패스 탐색 방법을 개발한다.
• 인간 전문가가 간과할 수 있는 의미 있는 메타패스를 자동으로 데이터 기반으로 탐색할 수 있도록 한다.

제안 방법

• 행동가가 순서에 따라 이웃 유형을 선택하는 것으로 메타패스 설계 과정을 마르코프 결정 과정(MDP)으로 모델링한다.
• 현재 HIN 상태와 노드의 국소적 이웃을 기반으로 정책 네트워크를 사용해 노드별로 특화된 메타패스를 생성한다.
• 하류 예측 작업에서 HGNN의 성능을 기반으로 보상 신호를 제공하여 딥 강화학습을 통해 정책 네트워크를 훈련시킨다.
• 구조적 및 훈련 개선을 통해 훈련 효율성과 메타패스 설계 품질을 향상시키는 확장형 RL-HGNN++을 도입한다.
• 동적으로 학습된 메타패스를 따라 표현을 집계하기 위해 어텐션 메커니즘과 그래프 convolutional 레이어를 사용한다.
• 최종 작업 성능 피드백 기반으로 메타패스 생성 정책을 최적화하기 위해 정책 기반 강화학습 방법을 활용한다.

실험 결과

연구 질문

• RQ1 강화학습이 이질적 정보 네트워크에서 의미 있는 메타패스를 효과적으로 자동 탐색할 수 있는가?
• RQ2 수동으로 설계된 메타패스에 의존하는 기존 HGRL 모델과 비교해 RL-HGNN의 성능은 어떠한가?
• RQ3 RL-HGNN이 탐색하는 메타패스의 유형은 무엇이며, 인간이 설계한 것과 비교해 의미적으로 해석 가능하거나 유의미한가?
• RQ4 제안된 방법은 노드 및 관계 유형이 다양한 다양한 HIN에 일반화되는가?
• RQ5 RL-HGNN++ 버전은 기본 RL-HGNN에 비해 훈련 속도와 수렴 속도를 크게 향상시키는가?

주요 결과

• 수동으로 설계된 메타패스를 사용하는 최신 HGRL 모델들과 비교해, RL-HGNN은 하류 노드 분류 및 링크 예측 작업에서 뛰어난 성능을 달성한다.
• 모델은 인간 전문가가 간과할 수 있는 의미 있는 메타패스를 탐색하며, 숨겨진 구조적 패턴을 발견할 수 있음을 입증한다.
• RL-HGNN++는 기본 모델과 동일하거나 향상된 성능을 유지하면서 훈련 시간을 단축하고 수렴 속도를 향상시킨다.
• 정책 네트워크는 개별 노드에 맞는 다양하고 맥락 인식형 메타패스를 성공적으로 학습하여 표현 품질을 향상시킨다.
• 실험 결과, 하류 작업 정확도 기반의 강화학습 신호가 고품질 메타패스 탐색을 효과적으로 이끌어내는 것으로 나타났다.
• 프레임워크는 다양한 실제 이질적 네트워크에서 잘 일반화되어 있어, 구조적 및 의미적 변동성에 대해 강건함을 보였다.