[논문 리뷰] Bag Graph: Multiple Instance Learning using Bayesian Graph Neural Networks

Soumyasundar Pal, Antonios Valkanas외 2명|arXiv (Cornell University)|2022. 02. 22.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 사전에 그래프가 제공되지 않은 다중 인스턴스 학습(MIL) 환경에서 백그라프(Bag Graph)라는 베이지안 그래프 신경망(Bayesian Graph Neural Network) 프레임워크를 제안한다. 이 프레임워크는 백 수준의 표현을 공동으로 학습하고, 백 간의 상관관계 그래프 구조를 추론한다. 신경 기반 MIL 모델과 미분 가능한 베이지안 GNN을 통합함으로써, 분류 벤치마크에서 최신 기술(SOTA) 성능을 달성하고, 텍스트 분류, 선거 예측, 임대 가격 회귀 과제에서 뛰어난 성능을 보였다.

ABSTRACT

Multiple Instance Learning (MIL) is a weakly supervised learning problem where the aim is to assign labels to sets or bags of instances, as opposed to traditional supervised learning where each instance is assumed to be independent and identically distributed (IID) and is to be labeled individually. Recent work has shown promising results for neural network models in the MIL setting. Instead of focusing on each instance, these models are trained in an end-to-end fashion to learn effective bag-level representations by suitably combining permutation invariant pooling techniques with neural architectures. In this paper, we consider modelling the interactions between bags using a graph and employ Graph Neural Networks (GNNs) to facilitate end-to-end learning. Since a meaningful graph representing dependencies between bags is rarely available, we propose to use a Bayesian GNN framework that can generate a likely graph structure for scenarios where there is uncertainty in the graph or when no graph is available. Empirical results demonstrate the efficacy of the proposed technique for several MIL benchmark tasks and a distribution regression task.

연구 동기 및 목표

• 기존 MIL 방법이 인스턴스 간 또는 백 간의 의존성을 모델링하지 못하는 한계를 해결하기 위해, 독립적이고 동일한 분포(i.i.d.)를 가정하는 것을 해결한다.
• 실제 MIL 응용에서 백 간의 관계 그래프 정보가 부족하거나 노이즈가 심한 문제를 해결한다.
• 베이지안 GNN을 사용하여 백 표현과 의미 있는 그래프 구조 간의 상호 학습을 통해 종합적인 엔드 투 엔드 프레임워크를 개발한다.
• 불확실성 인식 그래프 구조 추론을 활용하여 MIL에서 인덕티브 및 트랜스ductive 학습을 가능하게 한다.
• 분류, 텍스트 분류, 분포 회귀 등 다양한 MIL 과제에서 방법의 유효성을 입증한다.

제안 방법

• 인스턴스 수준의 신경망(예: Deep Sets, Set Transformer)을 통합하여, 인스턴스 집합으로부터 순열 불변 백 표현을 학습한다.
• 백 간의 그래프 구조와 메시지 전파를 통한 레이블 예측을 동시에 학습하는 베이지안 그래프 신경망(Bayesian GNN)을 구축한다.
• 변분 추론 프레임워크를 사용하여 그래프 간선에 대한 사후 분포를 추론함으로써, 기저 그래프가 존재하지 않을 경우에도 불확실성 인식 그래프 학습이 가능하도록 한다.
• 미분 가능한 그래프 추론을 사용하여 전체 아키텍처를 엔드 투 엔드로 훈련함으로써, 백 표현 및 그래프 구조 학습 구성 요소를 통해 기울기가 흐르도록 한다.
• 훈련 및 추론 중에 트랜스ductive 설정을 활용하여, 훈련 및 테스트 백 모두에 대해 그래프 구조를 함께 추론함으로써 일반화 성능을 향상시킨다.
• 관측된 공간적 또는 관계적 보조 정보(예: 지리적 근접성)를 초기 그래프 사전 지식으로 활용하며, 이는 훈련 중에 베이지안 GNN에 의해 개선된다.

실험 결과

연구 질문

• RQ1 MIL 과제에서 사전 그래프 정보가 없을 경우, 베이지안 GNN 프레임워크가 의미 있는 백 간 상관관계 구조를 효과적으로 추론할 수 있는가?
• RQ2 백 표현과 그래프 구조의 엔드 투 엔드 학습이, 백을 독립적으로 취급하거나 고정된 그래프를 사용하는 모델에 비해 성능을 어떻게 향상시키는가?
• RQ3 제안된 방법이 분류 및 회귀 설정 모두에서 최신 기술(SOTA) 모델을 얼마나 뛰어나게 성능을 내는가?
• RQ4 트랜스ductive 그래프 추론 설정이 인덕티브 또는 분리된 테스트 노드 설정에 비해 성능상의 이점을 제공하는가?
• RQ5 이 방법은 텍스트 분류, 선거 결과 예측, 부동산 가격 회귀와 같은 다양한 도메인으로 일반화 가능한가?

주요 결과

• 제안된 B-DS-GCN 및 B-ST-GCN 모델은 임대 가격 회귀 과제에서 가장 낮은 RMSE(67.51 ± 16.39)와 MAE(47.24 ± 10.21)를 기록하여, Deep Sets( RMSE: 86.37 ± 20.41)와 같은 기준 모델을 크게 앞서는 성능을 보였다.
• 절단 테스트 노드 설정 대비 트랜스ductive 그래프 추론(테스트 노드 포함)이 RMSE를 10.6% 감소시켜, 그 효과성을 입증했다.
• 베이지안 GNN 변종(B-DS-GCN 및 B-ST-GCN)은 선거 결과 예측 및 텍스트 분류 과제에서 비그래프 기반 기준 모델 및 GCN 변종을 모두 압도하는 최고의 성능을 기록했다.
• 기본 그래프가 제공되지 않은 상황에서도 표준 벤치마크 데이터셋에서 최신 기술(SOTA) MIL 모델과 비교해 유사하거나 뛰어난 성능을 달성했다.
• 베이지안 프레임워크의 활용으로 불확실성 인식 그래프 학습이 가능해져, 단순한 지리적 근접성 이상의 복잡한 관계를 적응적으로 학습할 수 있었다.
• 실증 결과에 따르면, 제안된 방법은 레이어 회귀 실험에서 100번의 무작위 훈련-테스트 분할에 걸쳐 RMSE, MAE, MAPE 모두에서 일관된 향상을 보이며 다수 과제에 대해 강건한 성능을 보였다.