[논문 리뷰] An Effective Transformer-based Solution for RSNA Intracranial Hemorrhage Detection Competition

Fangxin Shang, Siqi Wang외 2명|arXiv (Cornell University)|2022. 05. 16.

Intracerebral and Subarachnoid Hemorrhage Research인용 수 4

한 줄 요약

이 논문은 단일의 엔드 투 엔드 Transformer 기반 모델을 제안하며, RSNA 2019 경쟁 대회 수상자보다 1/4의 파라미터와 10%의 FLOPs만을 사용하여 더 뛰어난 성능을 달성한다. 스위프트-Transformer를 활용해 슬라이스 내 특징을 추출하고, 두 층의 순차적 Transformer를 통해 슬라이스 간 관계를 모델링하며, FixMatch 준지도 학습을 통합함으로써, 세 모델 앙상블 기반으로는 사설 테스트 로그 손실 0.04345, 단일 모델 기반으로는 0.04368을 기록하여 수상자인 0.04383을 초월한다.

ABSTRACT

We present an effective method for Intracranial Hemorrhage Detection (IHD) which exceeds the performance of the winner solution in RSNA-IHD competition (2019). Meanwhile, our model only takes quarter parameters and ten percent FLOPs compared to the winner's solution. The IHD task needs to predict the hemorrhage category of each slice for the input brain CT. We review the top-5 solutions for the IHD competition held by the Radiological Society of North America(RSNA) in 2019. Nearly all the top solutions rely on 2D convolutional networks and sequential models (Bidirectional GRU or LSTM) to extract intra-slice and inter-slice features, respectively. All the top solutions enhance the performance by leveraging the model ensemble, and the model number varies from 7 to 31. In the past years, since much progress has been made in the computer vision regime especially Transformer-based models, we introduce the Transformer-based techniques to extract the features in both intra-slice and inter-slice views for IHD tasks. Additionally, a semi-supervised method is embedded into our workflow to further improve the performance. The code is available in the manuscript.

연구 동기 및 목표

• RSNA 2019 대회 수상자보다 더 효율적이고 정확한 뇌내 출혈 탐지 모델을 개발하는 것.
• 기존 2D CNN 및 RNN 기반 모델에서 발생하는 분리된 슬라이스 내/간 특징 학습의 한계를 해결하여 오차 누적 문제를 완화하고 엔드 투 엔드 최적화를 가능하게 하는 것.
• 준지도 학습을 통합하여 대규모 모델 앙상블에 대한 의존도를 줄여, 낮은 계산 비용으로 임상 적용이 가능한 모델을 개발하는 것.
• 현대적인 Transformer 아키텍처가 다중 레이블 분류 작업을 위한 의료 영상 시퀀스 모델링에 얼마나 효과적인지 탐색하는 것.

제안 방법

• 슬라이스 내 특징은 스위프트-Transformer를 통해 추출되며, 이는 각 CT 슬라이스 내에서 높은 메모리 효율성과 국소-전역 주의 메커니즘을 제공한다.
• 슬라이스 간 의존성은 순차적으로 처리되는 두 층의 Transformer를 통해 모델링되며, 슬라이스 내 특징의 순서를 고려한다.
• 스위프트-Transformer에 잔차 연결과 후정규화(PN)를 적용하여 학습 안정성 향상과 기울기 흐름 개선을 도모한다.
• 깊은 보조 학습 설계(Deep-Supervision, DS)를 도입하여 보조 분류기들을 활용해 학습 중 수렴 속도를 가속화한다.
• FixMatch 준지도 학습은 비라벨 데이터에 대해 가짜 레이블을 생성하고 강한 증강 기법을 적용함으로써 일반화 성능을 향상시킨다.
• 앙상블 전략적으로 적용되며, 사설 랭킹 기반 가중치 할당을 통해 세 모델만 조합하여 과도한 계산 비용 없이 성능 향상을 달성한다.

실험 결과

연구 질문

• RQ1 RSNA 2019 수상자에서 사용된 다수의 2D CNN 및 RNN 모델 앙상블보다 단일 엔드 투 엔드 Transformer 기반 모델이 성능을 뛰어넘을 수 있는가?
• RQ2 기존의 전통적인 CNN-RNN 파이프라인 대신 Transformer 기반 아키텍처를 도입함으로써 오차 누적 문제를 줄이고 성능을 향상시킬 수 있는가?
• RQ3 FixMatch를 통한 준지도 학습이 의료 영상 분류에서 정확도를 향상시키면서도 대규모 모델 앙상블의 필요성을 줄일 수 있는가?
• RQ4 후정규화, 동적 가중치, 데이터 증강과 같은 아키텍처 선택이 이 작업에서 성능 향상에 기여하는 정도는 어느 정도인가?
• RQ5 출혈 유형 간 논리적 관계(예: 'any'는 다른 유형의 최댓값)를 명시적으로 모델링하는 것이 필요한가 또는 유익한가?

주요 결과

• 제안된 단일 모델 솔루션은 사설 테스트 로그 손실 0.04368을 기록하여 RSNA 2019 대회 수상자(로그 손실 0.04383)를 초월했다.
• FixMatch 가짜 레이블을 활용한 세 모델 앙상블을 통해 사설 로그 손실 0.04345를 달성하여 수상자 성능을 더욱 뛰어넘었다.
• 모델은 추론 시 86M 파라미터와 15G FLOPs만을 사용하며, 수상자 솔루션(330M 파라미터, 180G FLOPs)의 25% 파라미터와 10% FLOPs에 불과하다.
• 제거 분석 결과, RBE, DS, PN, DW, SW, FM 각 요소가 성능 향상에 점진적으로 기여하였으며, 전체 조합을 통해 로그 손실이 0.09495에서 0.04368로 감소함을 확인했다.
• 외부 데이터(CQ500) 사용과 'any' 클래스의 논리적 재구성은 유의미한 성능 향상 없이, 모델이 이미 고도로 최적화되어 있음을 시사한다.
• 엔드 투 엔드 학습 덕분에 슬라이스 내 및 슬라이스 간 모듈을 모두 거쳐 기울기 역전파가 완전히 수행되어, 분리된 파이프라인에서 발생하는 오차 누적 문제를 방지한다.