[논문 리뷰] Graph Representation Learning via Multi-task Knowledge Distillation

Jiaqi Ma, Qiaozhu Mei|arXiv (Cornell University)|2019. 11. 11.

Advanced Graph Neural Networks참고 문헌 18인용 수 9

한 줄 요약

이 논문은 밀도 및 지름과 같은 네트워크 이론 기반 그래프 지표를 보조 작업으로 활용하여 그래프 표현 학습을 향상시키는 다중 작업 지식 정련 프레임워크를 제안한다. 주된 그래프 수준 예측 작업과 이러한 보조 지표를 함께 학습시킴으로써, 특히 저라벨 환경에서 성능을 향상시키며, NCI1 및 IMDB-BINARY와 같은 합성 및 실세계 데이터셋에서 일관된 성능 향상을 보여준다.

ABSTRACT

Machine learning on graph structured data has attracted much research interest due to its ubiquity in real world data. However, how to efficiently represent graph data in a general way is still an open problem. Traditional methods use handcraft graph features in a tabular form but suffer from the defects of domain expertise requirement and information loss. Graph representation learning overcomes these defects by automatically learning the continuous representations from graph structures, but they require abundant training labels, which are often hard to fulfill for graph-level prediction problems. In this work, we demonstrate that, if available, the domain expertise used for designing handcraft graph features can improve the graph-level representation learning when training labels are scarce. Specifically, we proposed a multi-task knowledge distillation method. By incorporating network-theory-based graph metrics as auxiliary tasks, we show on both synthetic and real datasets that the proposed multi-task learning method can improve the prediction performance of the original learning task, especially when the training data size is small.

연구 동기 및 목표

• 라벨 데이터가 부족할 때 그래프 수준 표현 학습에서의 성능이 열 劣하는 문제를 해결하기 위해.
• 대규모 레이블 데이터셋에 의존하는 것을 줄이기 위해 네트워크 이론에서 유래한 도메인 지식을 심층 그래프 표현 모델에 통합하기 위해.
• 다중 작업 지식 정련을 통해 그래프 표현 학습의 일반화 능력과 샘플 효율성을 향상시키기 위해.
• 보조 작업으로서 그래프 지표(예: 지름, 밀도)를 사용할 경우 주 예측 작업으로 지식을 효과적으로 전달할 수 있는지 입증하기 위해.
• 낮은 데이터 환경에서 합성 및 실세계 그래프 벤치마크 데이터셋에 대해 방법을 검증하기 위해.

제안 방법

• 논문은 DeepGraph를 영감으로 삼은 공통 그래프 표현 백본을 사용하여 열린 그래프에서 열린 데이터 기반 표현을 학습한다. 이는 열화학 서명(HKS)을 사용한다.
• 구조 기반 네트워크 이론 지표—특히 밀도 및 지름—을 기반으로 한 다수의 보조 작업을 도입한다.
• 주 작업의 예측 손실과 보조 작업의 손실을 함께 최소화하는 다중 작업 학습 목표를 설정하며, 기여도를 조절하기 위해 학습 가능한 작업 가중치(αk)를 사용한다.
• 지식 정련을 통해 그래프 지표를 소프트 라벨로 사용함으로써, 추론 시 재계산이 필요 없이도 구조적 인덕티브 바이어스를 학습할 수 있도록 한다.
• 모델 아키텍처는 모든 작업 간에 첫 번째 두 신경망 블록(컨볼루션 및 첫 번째 완전 연결 계층)을 공유하며, 각 작업은 개별적인 최종 완전 연결 계층을 통해 예측을 수행한다.
• 이 방법은 어떤 감독 기반 그래프 표현 학습 모델과도 호환되며, 존재하는 프레임워크 위에 플러그인 모듈로 작동한다.

실험 결과

연구 질문

• RQ1 네트워크 이론 기반 그래프 지표를 보조 작업으로 통합하면 그래프 수준 표현 학습 모델의 성능 향상에 기여하는가?
• RQ2 수작업으로 만든 그래프 지표에서 지식 정련을 수행하면, 레이블 데이터가 제한된 상황에서 모델의 일반화 능력이 향상되는가?
• RQ3 학습 데이터 크기에 따라 보조 작업에서 얻는 성능 향상은 어떻게 변화하는가? 특히 저데이터 환경에서의 변화는?
• RQ4 제안된 방법은 합성 및 실세계 그래프 데이터셋 모두에서 효과적인가?
• RQ5 그래프 지표에서 유도된 소프트 라벨을 사용하면, 실시간으로 특징을 계산하는 것보다 추론 비용을 줄일 수 있는가?

주요 결과

• 포아송 랜덤 및 프리퍼런셜 어펜지먼트 그래프와 같은 합성 그래프에서 다중 작업 모델은 단일 작업 모델보다 일관되게 뛰어난 성능을 보이며, 특히 작은 학습 데이터 크기에서 성능 격차가 가장 크다.
• NCI1 데이터셋에서 다중 작업 모델은 단일 작업 모델보다 더 높은 10겹 교차 검증 정확도를 달성하며, 특히 학습 데이터의 소수만 사용할 경우 두드러진다.
• IMDB-BINARY 데이터셋에서 다중 작업 모델은 성능 향상을 보였지만, 데이터셋 크기가 작아서 변동성이 크기 때문에 격차는 다소 작다.
• 학습 데이터 크기가 증가함에 따라 다중 작업 모델과 단일 작업 모델 간의 성능 격차가 줄어들며, 이는 보조 작업이 라벨 부족 환경에서 가장 유익함을 시사한다.
• 추론 시간 계산 비용을 줄이기 위해 그래프 지표를 실시간으로 재계산하지 않아도 되도록, 학습 과정에서 지식을 정련함으로써 비용을 절감한다.
• 그래프 지표를 보조 작업으로 사용할 경우, 도메인 지식은 있지만 레이블 데이터가 제한된 상황에서 더 나은 일반화 성능을 달성한다.