[논문 리뷰] Multiple instance learning with graph neural networks

Ming Tu, Jing Huang외 2명|arXiv (Cornell University)|2019. 06. 12.

Image Retrieval and Classification Techniques참고 문헌 15인용 수 55

한 줄 요약

이 논문은 각각의 가방을 그래프로 간주하고 GNN을 통해 가방 임베딩을 학습하며, 차등형 풀링이나 주의 메커니즘을 사용해 고정 크기 표현을 만들어 가방 수준 분류를 수행하는 새로운 end-to-end 그래프 신경망(GNN) 접근법을 제시합니다. 이는 여러 MIL 벤치마크에서 최첨단 성능을 달성하면서도 해석 가능성을 유지합니다.

ABSTRACT

Multiple instance learning (MIL) aims to learn the mapping between a bag of instances and the bag-level label. In this paper, we propose a new end-to-end graph neural network (GNN) based algorithm for MIL: we treat each bag as a graph and use GNN to learn the bag embedding, in order to explore the useful structural information among instances in bags. The final graph representation is fed into a classifier for label prediction. Our algorithm is the first attempt to use GNN for MIL. We empirically show that the proposed algorithm achieves the state of the art performance on several popular MIL data sets without losing model interpretability.

연구 동기 및 목표

• MIL을 다수의 인스턴스로부터 가방 라벨을 학습하는 문제로 동기화하고 가방 내 인스턴스 간의 관계 구조를 포착한다.
• 각 MIL 가방을 그래프로 변환하고 GNN으로 가방 임베딩을 학습한다.
• 차등형 풀링(및 주의Variant)을 사용해 분류를 위한 고정 크기 그래프 임베딩을 생성하는 엔드투엔드 아키텍처를 개발한다.
• 표준 MIL 데이터셋에서 우수한 성능을 입증하고, 의사결정 인스턴스를 식별하는 할당 매트릭스를 통해 해석 가능성을 보여준다.

제안 방법

• 각 가방의 인스턴스를 거리에 따른 임계값으로 간선이 형성된 무방향 그래프로 변환한다.
• 그래프 내 노드 임베딩을 계산하기 위해 GNN를 적용한다(GNN_embd).
• 차등형 풀링을 사용해 그래프를 고정 크기의 표현으로 축소하고 가방 임베딩을 가능하게 한다(GNN_cluster 및 pooling).
• 축소된 그래프 위에 두 번째 GNN 층(GNN_embd2)을 적용하고 풀링(최댓값 혹은 연결)으로 최종 그래프 임베딩을 형성한다.
• 그래프 임베딩을 MLP 분류기에 입력해 가방 수준 예측을 수행하며 중간 단계에 추가 손실을 부여해 딥 서포지션을 제공한다.
• 기본적인 주의 기반 그래프 집계 변형(attends over node embeddings Z_i)을 제시해 가방 임베딩을 형성한다.

실험 결과

연구 질문

• RQ1 MIL 가방을 그래프로 취급하고 GNN을 적용하면 전통적인 i.i.d. 인스턴스 방식에 비해 가방 수준 분류 정확도를 향상시킬 수 있는가?
• RQ2 차등형 풀링이 더 우수한 가방 표현을 제공하고 가방 내 결정적 인스턴스를 해석 가능하게 식별하도록 하는가?
• RQ3 MIL에서 그래프를 이용한 주의 기반 집계가 차등형 풀링과 비교해 어떤 차이를 보이는가?

주요 결과

알고리즘	MUSK1	MUSK2	FOX	TIGER	ELEPHANT
mi-Graph	0.889±0.033	0.903±0.039	0.620±0.044	0.860±0.037	0.869±0.035
MI-Net	0.887±0.041	0.859±0.046	0.622±0.038	0.830±0.032	0.862±0.034
MI-Net with DS	0.894±0.042	0.874±0.043	0.630±0.037	0.845±0.039	0.872±0.032
Attention-MIL	0.892±0.040	0.858±0.048	0.615±0.043	0.839±0.022	0.868±0.022
Attention-MIL with gating	0.900±0.050	0.863±0.042	0.603±0.029	0.845±0.018	0.857±0.027
Ours	0.917±0.048	0.892±0.011	0.679±0.007	0.876±0.015	0.903±0.010

• 제안된 GNN 기반 MIL 방법은 다섯 가지 MIL 벤치마크에서mi-Graph, MI-Net, MI-Net with DS, Attention-MIL, Attention-MIL with gating 등의 여러 기준선보다 평균 정확도가 높으며, Ours는 MUSK1에서 0.917±0.048, MUSK2에서 0.892±0.011, FOX에서 0.679±0.007, TIGER에서 0.876±0.015, ELEPHANT에서 0.903±0.010를 달성했다.
• 텍스트 분류 작업에서도 방법이 MI-Graph 및 MI-Net 변형을 능가하는 경향을 보이며 데이터셋 전반에서 평균 개선을 달성했다.
• 망 그래프 입력(Ours-DP)을 사용한 망 기반 실험에서 74.2%의 정확도와 0.77의 F1를 달성하며 여러 비-그래프 MIL 방법보다 우수했다.
• 차등형 풀링 접근법은 학습된 할당 매트릭스를 통해 히트맵을 제공하며 결정적 인스턴스를 식별하고 해석 가능성을 유지한다.
• 그래프 기반 MIL은 가방 내 인스턴스 간의 구조를 포함할 때 일관되게 성능이 향상되며, 가방 내의 비 IID 관계가 성능을 향상시킨다는 주장을 지지한다.