[논문 리뷰] Deep Hypergraph Structure Learning

Zizhao Zhang, Yifan Feng외 2명|arXiv (Cornell University)|2022. 08. 26.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 논문은 노이즈가 많고 연결이 끊어진 연결을 줄이기 위해 고유한 초그래프 정보 병목 원리(Hypergraph Information Bottleneck, HIB)를 사용해 초그래프 구조를 최적화하는 딥 하이퍼그래프 구조 학습(DeepHGSL) 프레임워크를 제안한다. 초기 구조로부터 관련 없는 정보를 최소화하면서 작업에 관련된 신호를 유지함으로써, DeepHGSL는 초그래프 신경망의 강건성과 성능을 향상시키며, 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하여 노이즈가 있는 구조 조건에서도 정확도와 안정성이 향상된다.

ABSTRACT

Learning on high-order correlation has shown superiority in data representation learning, where hypergraph has been widely used in recent decades. The performance of hypergraph-based representation learning methods, such as hypergraph neural networks, highly depends on the quality of the hypergraph structure. How to generate the hypergraph structure among data is still a challenging task. Missing and noisy data may lead to "bad connections" in the hypergraph structure and destroy the hypergraph-based representation learning process. Therefore, revealing the high-order structure, i.e., the hypergraph behind the observed data, becomes an urgent but important task. To address this issue, we design a general paradigm of deep hypergraph structure learning, namely DeepHGSL, to optimize the hypergraph structure for hypergraph-based representation learning. Concretely, inspired by the information bottleneck principle for the robustness issue, we first extend it to the hypergraph case, named by the hypergraph information bottleneck (HIB) principle. Then, we apply this principle to guide the hypergraph structure learning, where the HIB is introduced to construct the loss function to minimize the noisy information in the hypergraph structure. The hypergraph structure can be optimized and this process can be regarded as enhancing the correct connections and weakening the wrong connections in the training phase. Therefore, the proposed method benefits to extract more robust representations even on a heavily noisy structure. Finally, we evaluate the model on four benchmark datasets for representation learning. The experimental results on both graph- and hypergraph-structured data demonstrate the effectiveness and robustness of our method compared with other state-of-the-art methods.

연구 동기 및 목표

• 초그래프 구조 데이터에서 성능을 떨어뜨리는 노이즈가 많고 연결이 끊어진 고차원 연결("나쁜 연결") 문제를 해결하기 위해.
• 노드 표현과 초그래프 구조를 종합적으로 엔드 투 엔드 방식으로 학습할 수 있는 일반화 가능한 딥 러닝 프레임워크를 개발하기 위해.
• 노이즈와 연결 끊김과 같은 구조적 교란 상황에서도 초그래프 기반 표현 학습의 강건성을 향상시키기 위해.
• 정보 병목 원리를 초그래프 환경에 확장하여, 구조 최적화를 위한 초그래프 정보 병목(Hypergraph Information Bottleneck, HIB) 원리를 도입하기 위해.
• 실생활 데이터인 소셜 네트워크, 뇌 네트워크, 추천 시스템 등에서 고차원 상관관계를 더 정확하고 완전하게 모델링하기 위해.

제안 방법

• 노드 표현과 초기 초그래프 구조 간의 상호정보량을 최소화하면서도, 타겟 레이블과의 상호정보량을 최대화하는 새로운 초그래프 정보 병목(Hypergraph Information Bottleneck, HIB) 원리를 제안한다.
• HIB 원리를 미분 가능한 손실 함수로 공식화하여, 초그래프 구조와 노드 표현의 엔드 투 엔드 학습을 이끌어내는 데 사용한다.
• 가장자리 연결을 동적으로 조정할 수 있는 학습 가능한 인cidencematrix와 어텐션 메커니즘을 통합하여, 정확한 연결을 강화하고 잘못된 연결을 억제한다.
• 다중 네트워크 레이어를 거쳐 반복적인 구조 개선을 수행하며, 각 레이어에서 현재 표현 기반으로 초그래프 구조를 업데이트한다.
• 스parser의 제어를 위해 임계값 ε를 사용하는 마스킹 메커니즘을 도입하여 표현력과 노이즈 감소 사이의 균형을 맞춘다.
• 구조 개선과 최종 작업 성능 사이의 균형을 맞추는 공동 최적화 목표를 사용해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 정보 병목 원리는 초그래프 구조 데이터에 효과적으로 확장될 수 있는가? 특히 노이즈가 많고 연결이 끊어진 연결에 대한 강건성을 향상시킬 수 있는가?
• RQ2 HIB를 통한 초그래프 구조 최적화가 초그래프 신경망의 성능과 일반화 능력을 어떻게 향상시키는가?
• RQ3 다중 레이어 구조 학습이 초그래프 기반 모델의 표현 품질과 수렴에 미치는 영향는 어떠한가?
• RQ4 제안된 방법은 α, β, ε와 같은 핵심 하이퍼파라미터에 대해 다양한 데이터 설정에서 얼마나 민감한가?
• RQ5 HIB 기반의 구조 학습 프레임워크는 다양한 수준의 구조적 노이즈를 가진 그래프 구조 및 초그래프 구조 데이터에 대해 일반화 가능한가?

주요 결과

• DeepHGSL는 Yummly10k 데이터셋에서 다중 레이어를 사용할 경우 분류 정확도 77.8%를 달성하며, 단일 레이어 버전(75.8%)을 뛰어넘고 깊이가 증가할수록 일관된 성능 향상을 보였다.
• 모델은 구조적 노이즈에 대해 강건성을 보이며, 특히 α ≤ 0.7 이고 ε가 적절히 조정된 경우에 다양한 하이퍼파라미터 값에서도 안정된 성능을 유지했다.
• 네 가지 벤치마크 데이터셋(Cora, Citeseer, Yummly10k, DBLP-coauthor)에서 모두 500 반복 이내에 수렴했으며, 표준 GPU에서 총 훈련 시간이 두 분 이내였다.
• HIB 손실 목표를 통해 초기 초그래프에서 불필요한 연결을 억제함으로써 노드 표현의 노이즈 정보가 감소한 것으로 확인되었다.
• 그래프 구조 및 초그래프 구조 데이터 양쪽 모두에서 성능 향상이 관찰되어 DeepHGSL 프레임워크의 일반화 능력을 검증했다.
• 계산적으로 효율적이며, 데이터셋 전체의 총 실행 시간이 40.7에서 105.3초 사이로, 실생활 응용에 실용적이다.