[논문 리뷰] HNHN: Hypergraph Networks with Hyperedge Neurons

Yihe Dong, Will Sawin외 1명|arXiv (Cornell University)|2020. 06. 22.

Advanced Graph Neural Networks참고 문헌 22인용 수 47

한 줄 요약

HNHN은 하이퍼그래프 컨볼루션 프레임워크를 도입하여 하이퍼노드와 하이퍼엣지 모두에 비선형 활성화와 함께 표현을 할당하고, 유연한 정규화 체계를 제공하여 실제 데이터 세트에서 최첨단 방법보다 정확도와 속도를 향상시킵니다.

ABSTRACT

Hypergraphs provide a natural representation for many real world datasets. We propose a novel framework, HNHN, for hypergraph representation learning. HNHN is a hypergraph convolution network with nonlinear activation functions applied to both hypernodes and hyperedges, combined with a normalization scheme that can flexibly adjust the importance of high-cardinality hyperedges and high-degree vertices depending on the dataset. We demonstrate improved performance of HNHN in both classification accuracy and speed on real world datasets when compared to state of the art methods.

연구 동기 및 목표

• 하이퍼그래프에서 하이퍼엣지를 일급 엔티티로 취급하고 전용 표현을 부여하여 학습을 촉진한다.
• A 기반의 관계를 이용한 비선형 활성화를 활용하는 하이퍼그래프 컨볼루션 방법을 개발한다.
• 데이터세트의 필요에 따라 고카디널리티의 하이퍼엣지와 고차수 정점을 균형 있게 다루는 유연한 정규화 체계를 도입한다.
• 클리크 확장과 스타 확장 및 기존 하이퍼그래프 학습 방법과의 비교를 통해 정확도와 효율성에서의 이점을 입증한다.]
• method:[
• Define hypergraph with incidence matrix A and learn separate representations for hypernodes X_V and hyperedges X_E.
• Update rules: X_E' = sigma(A^T X_V W_E + b_E) and X_V' = sigma(A X_E' W_V + b_V).
• Incorporate nonlinear activation on both hypernodes and hyperedges to capture hyperedge-specific nonlinearities.
• Introduce normalization schemes D_{E,l,alpha}, D_{V,r,alpha}, D_{V,l,alpha}, D_{E,r,alpha} parameterized by alpha and beta to weight hyperedges and vertices by degree.
• Provide a practical implementation that computes normalization factors from hypergraph neighborhoods without explicitly forming the incidence matrix A.
• Discuss relationships to clique and star expansions and show how HNHN generalizes graph convolution on these expansions, with and without nonlinearities.
• Detail training procedure, hyperparameters, and convergence considerations (e.g., using Adam, dropout, ReLU).

제안 방법

• Define hypergraph with incidence matrix A and learn separate representations for hypernodes X_V and hyperedges X_E.
• Update rules: X_E' = sigma(A^T X_V W_E + b_E) and X_V' = sigma(A X_E' W_V + b_V).
• Incorporate nonlinear activation on both hypernodes and hyperedges to capture hyperedge-specific nonlinearities.
• Introduce normalization schemes D_{E,l,alpha}, D_{V,r,alpha}, D_{V,l,alpha}, D_{E,r,alpha} parameterized by alpha and beta to weight hyperedges and vertices by degree.
• Provide a practical implementation that computes normalization factors from hypergraph neighborhoods without explicitly forming the incidence matrix A.
• Discuss relationships to clique and star expansions and show how HNHN generalizes graph convolution on these expansions, with and without nonlinearities.
• Detail training procedure, hyperparameters, and convergence considerations (e.g., using Adam, dropout, ReLU).

실험 결과

연구 질문

• RQ1 클리크 확장과 스타 확장을 통한 전통적 그래프 컨볼루션을 넘어 하이퍼그래프 구조 데이터에서 하이퍼에지 특이적 비선형 활성화가 예측 성능을 향상시킬 수 있는가?
• RQ2 다양한 하이퍼엣지 크기와 노드 차수에서 유연하고 차수-aware한 정규화가 학습에 어떤 영향을 미치는가?
• RQ3 표준 데이터셋에서 HNHN과 기존 하이퍼그래프 컨볼루션 방법들(예: HyperGCN, HGNN)의 정확도와 속도상 비교 우위는 무엇인가?
• RQ4 하이퍼노드 예측 및 하이퍼엣지 예측과 같은 학습 작업에서 하이퍼노드와 하이퍼엣지에 대해 별도 표현을 유지하는 것이 유리한가?

주요 결과

• HNHN은 하이퍼노드 분류를 위한 여러 벤치마크 데이터셋에서 최첨단 방법을 능가하며 주목할 만한 정확도 향상을 보인다.
• 명시적 incidence 행렬 인스턴스 생성을 피하고 GPU 기반 계산이 효율적이어서 학습 속도 경쟁력이 있다.
• 하이퍼노드와 하이퍼엣지 모두에 비선형 활성화를 사용하는 것이 선형 또는 단일 엔티티 접근 방식보다 더 높은 표현력을 제공한다.
• 조정 가능한 alpha 및 beta 매개변수를 갖는 정규화 체계가 성능에 상당한 영향을 미치며 기본값의 동등 가중 정규화(alpha=beta=0)가 항상 최적은 아니다.
• HNHN은 하이퍼엣지 표현의 동시 학습을 가능하게 하여 노드 예측과 함께 경쟁력 있는 하이퍼엣지 예측을 가능하게 한다.