[논문 리뷰] Probing Graph Representations

Mohammad Sadegh Akhondzadeh, Vijay Lingam외 1명|arXiv (Cornell University)|2023. 03. 07.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 GNN과 그래프 트랜스포머가 학습한 그래프 표현에 포함된 화학적으로 관련된 정보가 무엇인지 조사하기 위해 프로빙 프레임워크를 제안한다. 선형 프로빙, 베이지안 상호정보량, 그리고 간섭 기반 쌍체 프로빙을 사용하여 저자들은 트랜스포머 기반 모델이 메시지 전달 GNN보다 유의미하게 더 많은 화학적으로 유의미한 정보를 포착한다는 것을 발견했으며, 심지어 무작위로 초기화된 모델조차도 유용한 특징을 포함하고 있음을 확인하여, 프로빙이 모델의 해석 가능성과 개발을 위한 진단 도구로 중요한 역할을 한다는 것을 시사한다.

ABSTRACT

Today we have a good theoretical understanding of the representational power of Graph Neural Networks (GNNs). For example, their limitations have been characterized in relation to a hierarchy of Weisfeiler-Lehman (WL) isomorphism tests. However, we do not know what is encoded in the learned representations. This is our main question. We answer it using a probing framework to quantify the amount of meaningful information captured in graph representations. Our findings on molecular datasets show the potential of probing for understanding the inductive biases of graph-based models. We compare different families of models and show that transformer-based models capture more chemically relevant information compared to models based on message passing. We also study the effect of different design choices such as skip connections and virtual nodes. We advocate for probing as a useful diagnostic tool for evaluating graph-based models.

연구 동기 및 목표

• 학습된 그래프 표현에 포함된 화학적으로 관련된 정보의 유형이 무엇인지 조사하기 위해.
• 실증적 프로빙을 통해 메시지 전달 GNN과 그래프 트랜스포머의 표현 능력을 비교하기 위해.
• 스킵 연결과 가상 노드와 같은 아키텍처 선택 사항이 표현에 정보 인코딩에 미치는 영향을 평가하기 위해.
• 모델이 유용한 구조적 및 화학적 특징을 학습하기 위해 사전 훈련이 반드시 필요한지 평가하기 위해.
• 그래프 표현 학습에서 프로빙을 해석 가능성과 진단 도구로 활용할 것을 주장하기 위해.

제안 방법

• 선형 프로빙, 베이지안 상호정보량(BMI) 추정, 그리고 입력 간섭을 통한 쌍체 프로빙을 포함한 다중 전략 프로빙 프레임워크를 활용.
• RDKit를 사용하여 감독 없이도 화학적 성질(예: 기능기, 원자 수, 3D 구조 특징)을 계산.
• 데이터셋 편향을 줄이고 다양한 모델 간의 공정한 비교를 가능하게 하기 위해 점진적 프로빙을 적용.
• 특정 구조적 변화(예: 기능기 제거)가 표현 이동에 미치는 영향을 격리하기 위해 쌍체 프로빙을 활용.
• 하류 작업에서의 프로빙 성능을 평가하여 표현의 이식 가능성을 측정.
• 사전 훈련된 모델과 무작위로 초기화된 모델을 활용하여 훈련이 특징 학습에 미치는 영향을 평가.

실험 결과

연구 질문

• RQ1 분자의 그래프 표현에 어떤 종류의 화학적 및 구조적 성질이 안정적으로 인코딩되어 있는가?
• RQ2 그래프 트랜스포머가 전통적인 GNN보다 화학적으로 관련된 정보를 얼마나 잘 포착하는가?
• RQ3 스킵 연결이나 가상 노드와 같은 아키텍처 구성 요소가 표현의 정보 인코딩에 얼마나 기여하는가?
• RQ4 훈련되지 않은(무작위로 초기화된) 모델이 유용한 화학적 특징을 포착할 수 있는가? 이는 사전 훈련이 표현 품질의 유일한 원인은 아닐 수 있음을 시사한다.
• RQ5 인코딩된 정보의 풍부함과 하류 작업으로의 이식 가능성 및 모델 일반화 능력 사이에 어떤 상관관계가 있는가?

주요 결과

• 트랜스포머 기반 모델은 메시지 전달 GNN보다 기능기와 3D 구조적 성질에 대해 유의미하게 더 많은 화학적으로 관련된 정보를 인코딩한다.
• 심지어 무작위로 초기화된 모델조차도 상당한 양의 유용한 화학적 정보를 포착하고 있어, 아키텍처의 인덕티브 바이어스만으로도 정보가 풍부한 표현을 생성할 수 있음을 시사한다.
• 스킵 연결은 더 많은 정보를 포함하는 표현을 생성함으로써, 구조적 및 화학적 세부 정보를 유지하는 데 기여하는 역할을 한다는 것을 보여준다.
• 프로빙 프레임워크는 주 예측 작업에 반드시 필요하지 않은 성질조차도 모델이 학습할 수 있음을 드러내어, 임의의 인덕티브 바이어스의 가능성을 시사한다.
• 프로빙을 통해 측정한 정보의 풍부함과 하류 작업으로의 표현 이식 가능성 사이에 강한 상관관계가 있음을 확인하였다.
• 쌍체 프로빙은 특정 구조적 변화(예: 기능기 삭제)가 표현에 측정 가능하고 해석 가능한 이동을 유도함을 확인하여, 이 방법의 민감도를 검증하였다.