[논문 리뷰] Dual-stream Maximum Self-attention Multi-instance Learning

Bin Li, Kevin W. Eliceiri|arXiv (Cornell University)|2020. 06. 09.

Image Retrieval and Classification Techniques참고 문헌 22인용 수 4

한 줄 요약

이 논문은 이중 스트림 최대 자기주의 다중예제 학습(DSMIL)을 제안한다. 이는 이중 스트림 아키텍처를 사용해 개별 예제와 백 분류기를 동시에 학습하는 신경망 기반의 새로운 MIL 모델이다. 첫 번째 스트림은 최대 풀링을 통해 가장 활성화된 개별 예제를 식별하고, 이는 두 번째 스트림에서 모든 개별 예제에 걸쳐 자기주의 점수를 계산하는 쿼리로 사용된다. 이로 인해 계산 복잡도는 O(n²)에서 O(n)으로 감소하면서 성능 향상이 이루어지며, 기준 MIL 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multi-instance learning (MIL) is a form of weakly supervised learning where a single class label is assigned to a bag of instances while the instance-level labels are not available. Training classifiers to accurately determine the bag label and instance labels is a challenging but critical task in many practical scenarios, such as computational histopathology. Recently, MIL models fully parameterized by neural networks have become popular due to the high flexibility and superior performance. Most of these models rely on attention mechanisms that assign attention scores across the instance embeddings in a bag and produce the bag embedding using an aggregation operator. In this paper, we proposed a dual-stream maximum self-attention MIL model (DSMIL) parameterized by neural networks. The first stream deploys a simple MIL max-pooling while the top-activated instance embedding is determined and used to obtain self-attention scores across instance embeddings in the second stream. Different from most of the previous methods, the proposed model jointly learns an instance classifier and a bag classifier based on the same instance embeddings. The experiments results show that our method achieves superior performance compared to the best MIL methods and demonstrates state-of-the-art performance on benchmark MIL datasets.

연구 동기 및 목표

• 개별 예제 레이블이 제공되지 않는 다중예제 학습(MIL)에서 약한 지도 학습의 과제를 해결하기 위해.
• 백 크기와 함께 제곱적으로 증가하는 전체 자기주의 계산 복잡도를 줄이기 위해.
• 의존성 모델링을 위해 가장 관련성이 높은 개별 예제(가장 활성화된 예제)에 주의를 집중시켜 분류 성능 향상시키기 위해.
• 공유된 개별 예제 임베딩을 통해 개별 예제 및 백 분류기를 동시에 훈련시켜 특징 학습을 향상시키기 위해.
• 전체 슬라이드 이미지와 같은 대규모 백(수천 개의 패치 포함)에서도 훈련을 가능하게 하기 위해 스트림 간 번갈아 최적화를 지원하기 위해.

제안 방법

• 모델은 이중 스트림 아키텍처를 사용한다: 첫 번째 스트림은 표준 최대 풀링을 수행하여 가장 활성화된 개별 예제 임베딩을 식별한다.
• 두 번째 스트림은 백 내의 모든 다른 개별 예제와만 가장 활성화된 개별 예제를 관련시켜 자기주의 점수를 계산하며, 쿼리-키 메커니즘을 형성한다.
• 이 가장 활성화된 자기주의 메커니즘은 계산 복잡도를 O(n²)에서 O(n)으로 줄여 대규모 백에 대해 확장 가능하게 한다.
• 이 주의 점수는 개별 예제 임베딩을 백 임베딩으로 집계하는 데 사용되며, 이는 이후 백 수준 분류에 사용된다.
• 모델은 최대 풀링 스트림에서 유도된 개별 예제 분류기와 주의 스트림에서 유도된 백 분류기를 함께 훈련하며, 동일한 개별 예제 임베딩을 공유한다.
• 훈련은 두 스트림 간에 번갈아가며 수행되어, 매우 큰 백에서도 깊은 특징 추출기의 효과적인 backpropagation을 가능하게 한다.

실험 결과

연구 질문

• RQ1 자기주의를 오직 가장 활성화된 개별 예제에 집중시킴으로써, MIL 모델의 성능 향상과 계산 비용 감소가 가능한가?
• RQ2 개별 예제 및 백 분류기를 동시에 학습하는 이중 스트림 아키텍처가 단일 스트림 접근 방식보다 더 나은 특징 표현을 제공하는가?
• RQ3 제안된 방법은 수천 개의 패치를 포함하는 전체 슬라이드 이미지 분석과 같은 대규모 백에 대해 확장 가능한가?
• RQ4 DSMIL의 개별 예제 분류기 성능은 기존의 표준 MIL 최대 풀링 모델과 비교해 어떻게 되는가?
• RQ5 개별 예제 스트림과 백 스트림 간의 번갈아 훈련 전략이 모델 수렴과 성능에 어떤 영향을 미치는가?

주요 결과

• DSMIL은 기준 MIL 데이터셋에서 최신 기술 수준의 성능을 달성하며, AbMILP, IQSA-AbMILP, LSA-AbMILP를 포함한 기존 방법들을 모두 능가한다.
• 결장암 데이터셋에서 DSMIL는 91.1% 정확도(±0.012), 93.2% 정밀도(±0.013), 91.2% F-score(±0.009)를 기록하여 모든 기준 모델을 초월한다.
• 유방암 데이터셋에서 DSMIL는 93.7% 정확도(±0.000), 92.5% 정밀도(±0.091), 97.4% F-score(±0.050)를 기록하여 높은 안정성과 성능을 입증한다.
• 가장 활성화된 개별 예제에만 자기주의를 제한함으로써 계산 복잡도를 O(n²)에서 O(n)으로 줄여 대규모 백에 대한 확장성을 확보한다.
• 훈련 후 개별 예제 분류기 스트림은 별도로 사용할 수 있으며, 전체 백 주의 없이도 신뢰할 수 있는 개별 예제 수준의 예측을 제공한다.
• 번갈아 훈련 전략은 전체 슬라이드 이미지 분류와 같은 매우 큰 백에서 깊은 특징 추출기와 집합 연산자에 대한 효과적인 최적화를 가능하게 한다.