[논문 리뷰] InfoGraph: Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information Maximization

Fan-Yun Sun, Jordan Hoffmann외 2명|arXiv (Cornell University)|2019. 07. 31.

Machine Learning in Materials Science인용 수 256

한 줄 요약

InfoGraph는 그래프 수준 표현과 다중 스케일 부분구조 간의 상호정보를 최대화하여 고정 길이 그래프 임베딩을 학습합니다; InfoGraph*는 비지도 및 지도 표현의 정렬을 통해 준지도 학습으로 확장합니다.

ABSTRACT

This paper studies learning the representations of whole graphs in both unsupervised and semi-supervised scenarios. Graph-level representations are critical in a variety of real-world applications such as predicting the properties of molecules and community analysis in social networks. Traditional graph kernel based methods are simple, yet effective for obtaining fixed-length representations for graphs but they suffer from poor generalization due to hand-crafted designs. There are also some recent methods based on language models (e.g. graph2vec) but they tend to only consider certain substructures (e.g. subtrees) as graph representatives. Inspired by recent progress of unsupervised representation learning, in this paper we proposed a novel method called InfoGraph for learning graph-level representations. We maximize the mutual information between the graph-level representation and the representations of substructures of different scales (e.g., nodes, edges, triangles). By doing so, the graph-level representations encode aspects of the data that are shared across different scales of substructures. Furthermore, we further propose InfoGraph*, an extension of InfoGraph for semi-supervised scenarios. InfoGraph* maximizes the mutual information between unsupervised graph representations learned by InfoGraph and the representations learned by existing supervised methods. As a result, the supervised encoder learns from unlabeled data while preserving the latent semantic space favored by the current supervised task. Experimental results on the tasks of graph classification and molecular property prediction show that InfoGraph is superior to state-of-the-art baselines and InfoGraph* can achieve performance competitive with state-of-the-art semi-supervised models.

연구 동기 및 목표

• 비지도 및 준지도 설정에서 잘 작동하는 그래프 수준 표현을 동기 부여하고 개발합니다.
• 손으로 설계한 그래프 커널과 하위 트리 중심 표현의 한계를 극복합니다.
• 그래프 내에서 스케일 간 공유 정보를 포착하기 위해 상호정보를 활용합니다.

제안 방법

• GNN과 READOUT 함수로 그래프 수준 및 패치(노드/엣지/삼각형) 표현을 정의합니다.
• Jensen-Shannon MI 추정기를 사용하여 글로벌 그래프 표현과 패치 표현 간의 상호정보를 최대화합니다.
• 배치 단위 음수 샘플링을 사용하여 올바른 글로벌-패치 쌍을 구분하는 판별기를 학습합니다.
• 정보그래프*를 위한 준지도 학습의 이중 인코더 설정을 도입하여 계층 간 비지도 및 지도 표현 간의 상호정보를 강제합니다.
• 준지도 설정에서 지도 손실과 비지도 InfoGraph 손실 및 상호정보 전이 항을 결합하여 음의 전달(negative transfer)을 완화합니다( Eq. 8 ).
• 판별기는 (global representation, patch representation) 쌍에 대해 MI를 추정하는 방식으로 작동합니다. Eq. (5)처럼.

실험 결과

연구 질문

• RQ1 다중 스케일 부분구성과의 상호정보를 최대화함으로써 비지도 방식으로 그래프 수준 임베딩을 효과적으로 학습할 수 있는가?
• RQ2 InfoGraph가 그래프 분류 벤치마크에서 최첨단의 비지도 그래프 표현 방법보다 우수한가?
• RQ3 준지도 확장(InfoGraph*)이 비표지 데이터를 활용하여 분자 특성 예측에서 성능을 향상시킬 수 있는가?
• RQ4 비지도 및 지도 인코더 간의 상호정보 기반 전달이 그래프 SSL에서 음의 전달을 완화하는가?

주요 결과

• InfoGraph는 여섯 개의 그래프 분류 벤치마크에서 여러 최첨단 그래프 커널 및 비지도 기준선보다 우수한 성능을 보인다.
• InfoGraph는 준지도 설정에서 분자 특성 예측에 경쟁력 있는 결과를 달성하며 종종 Mean Teacher 기준선을 능가한다.
• InfoGraph*은 QM9 대상 전반에 걸쳐 일관되게 지도 모델보다 성능을 개선하여 강력한 준지도 성능을 가능하게 한다.
• 배치 단위 음수 샘플링 전략과 Graph Isomorphism Network (GIN) 인코더의 사용이 강력한 실험적 결과에 기여한다.
• 상호정보를 통한 다중 스케일 패치와 그래프 수준 표현 학습이 비지도 및 준지도 그래프 작업 모두에 효과적인 패러다임임을 보여준다.