[논문 리뷰] Paper-author bipartite graph from Semantic Scholar

Michaël Defferrard, Stefania Ebli외 1명|arXiv (Cornell University)|2020. 10. 07.

Topological and Geometric Data Analysis참고 문헌 27인용 수 57

한 줄 요약

심플리셜 신경망(SNNs)은 그래프 신경망을 심플리셜 복합체 데이터로 일반화하고, 로우-차수 다항식 스펙트럴 필터를 사용해 국소 합성곱을 수행하며, 협저자 복합체의 인용 누락을 보정하는 실험을 수행한다.

ABSTRACT

Paper-author bipartite graph created from Semantic Scholar's Open Research Corpus, version 2018-05-03. Vertices are papers (39,219,709 of them) in one part and authors (12,862,455 of them) in the other. A paper is connected to all its co-authors, and an author is connected to all the papers they wrote, leading to 139,268,795 edges. A citation count (the number of times the paper was cited) is available for each paper (from 0 to 37,230 citations per paper).

연구 동기 및 목표

• 쌍으로 연결된 간선 너머의 고차 관계를 가진 데이터에서 학습을 자극한다.
• coboundary/Laplacian 연산자를 활용하는 심플리셜 신경망 프레임워크를 제안한다.
• Semantic Scholar 데이터로 구성된 공저자 복합체에서 누락 데이터 보정을 실험에서 시연한다.
• 서로 다른 공저자 복합체 간 학습된 필터의 전이 가능성을 탐구한다.

제안 방법

• 유한 심플리셜 복합체 K에서 p-코신으로 데이터를 모델링하고 coboundary 맵 delta^p를 정의한다.
• delta와 그 adjoint를 이용해 차수-p 심플리셜 라플라시안 L_i = L_i^up + L_i^down를 구성한다.
• F_p를 L_p의 고유벡터를 기반으로 하여 F_p^{-1}(F_p(c) F_p(c'))로 심플리셜 컨볼루션을 정의한다.
• 컨볼루션 필터를 라플라시안 고유값의 낮은 차수 다항식으로 제한하여 지역성과 효율적이고 희소한 계산을 보장한다 (sum W_i L_p^i).
• 여러 계층(예: 3 계층, 30 필터, N=5)을 가지는 네트워크를 구현하고 Adam으로 학습하여 누락된 코신 값들을 보정한다.
• Semantic Scholar Open Research Corpus에서 파생된 공저자 복합체 CC1 및 CC2에서 다양한 누락 비율 하에 누락된 k-코신(k=0,1,2)을 보정하는 실험을 수행한다.

실험 결과

연구 질문

• RQ1 심플리셜 신경망은 심플리셜 복합체에 인코딩된 고차 관계로부터 효과적으로 학습할 수 있는가?
• RQ2 낮은 차수 다항식 스펙트럴 필터가 심플리셜 복합체에서 효과적이고 국소화된 합성곱을 제공하는가?
• RQ3 SNN은 공저자 복합체에서 누락 데이터를 얼마나 잘 보정하며 간단한 기준선과 비교하면 어떤가?
• RQ4 학습된 필터가 서로 다른 공저자 복합체 간에 전달될 수 있는가?
• RQ5 그래프를 넘어서는 데이터의 위상구조를 포착하는 SNN의 가능성은 무엇인가?

주요 결과

• SNN은 누락 값을 간단한 방법이나 이웃의 평균으로 보정하는 기준선보다 우수하다.
• CC1에서 30% 누락 인용일 때, 보고된 기준선은 Table 1에 요약되어 있는 것처럼 SNN보다 상당히 높은 오차를 보인다.
• CC2에서 학습된 SNN은 CC1에서 보정할 때 CC1에서 학습된 SNN의 성능과 거의 비슷하게 나타나 유사한 공저 특성 간의 필터 전달 가능성을 시사한다.
• 이 방법은 스펙트럼 기반의 국소 합성곱이 심플리셜 복합체에서 학습되고 고차 데이터에 적용될 수 있음을 보여준다.
• 연구는 SNN 예측에서 제로에 가까운 보정이 제로 오차에 근접하는 귀속을 질적·양적으로 제공한다.