[논문 리뷰] Beta-Rank: A Robust Convolutional Filter Pruning Method For Imbalanced Medical Image Analysis

Morteza Homayounfar, Mohamad Koohi‐Moghadam외 2명|arXiv (Cornell University)|2023. 04. 15.

COVID-19 diagnosis using AIMedicine인용 수 3

한 줄 요약

이 논문은 불균형한 의료 영상 데이터셋에서 모델의 효율성과 강건성을 향상시키기 위해 설계된 새로운 컨볼루션 필터 프루닝 방법인 Beta-Rank을 제안한다. 필터의 가중치만이 아니라 입력-출력 활성화 변화를 기반으로 필터를 순위 매기는 방식을 통해 Beta-Rank는 뛰어난 성능을 달성한다—IDRID에서 최대 58%의 FLOPs 감소와 함께 정확도를 유지하거나 향상시키며, ISIC에서는 45% 감소를 기록한다. 실세계 적용 사례에서는 스마트폰 앱에서 메모리 사용량이 79% 감소하고 추론 속도가 72% 빨라졌다.

ABSTRACT

As deep neural networks include a high number of parameters and operations, it can be a challenge to implement these models on devices with limited computational resources. Despite the development of novel pruning methods toward resource-efficient models, it has become evident that these models are not capable of handling "imbalanced" and "limited number of data points". We proposed a novel filter pruning method by considering the input and output of filters along with the values of the filters that deal with imbalanced datasets better than others. Our pruning method considers the fact that all information about the importance of a filter may not be reflected in the value of the filter. Instead, it is reflected in the changes made to the data after the filter is applied to it. In this work, three methods are compared with the same training conditions except for the ranking values of each method, and 14 methods are compared from other papers. We demonstrated that our model performed significantly better than other methods for imbalanced medical datasets. For example, when we removed up to 58% of FLOPs for the IDRID dataset and up to 45% for the ISIC dataset, our model was able to yield an equivalent (or even superior) result to the baseline model. To evaluate FLOP and parameter reduction using our model in real-world settings, we built a smartphone app, where we demonstrated a reduction of up to 79% in memory usage and 72% in prediction time. All codes and parameters for training different models are available at https://github.com/mohofar/Beta-Rank

연구 동기 및 목표

• 데이터 불균형과 제한된 데이터 포인트 상황에서 의료 영상 분석의 모델 효율성과 강건성 문제를 해결하기 위해.
• 단순히 필터 가중치 크기 외에도 입력-출력 활성화 변화를 통해 필터 중요도를 파악함으로써 필터 프루닝을 향상시키기 위해.
• 기존 프루닝 방법이 실패하는 불균형 데이터셋에서도 높은 성능을 유지할 수 있는 프루닝 방법을 개발하기 위해.
• FLOPs와 메모리 감소를 통해 자원이 제한된 장치(예: 스마트폰)에서도 실세계 적용이 가능하도록 하기 위해.
• 모바일 의료 영상 분석을 위한 실용적이고 효율적이며 정확한 솔루션을 제공하기 위해.

제안 방법

• Beta-Rank는 컨볼루션 전후의 특징 맵에서의 활성화 변화 크기를 기반으로 한 새로운 필터 순위 매기기 기준을 도입하여, 가중치 값 외에도 기능적 중요도를 반영한다.
• 각 필터가 입력 특징 맵을 얼마나 변화시키는지 측정하는 베타-분산 기반 점수를 계산함으로써, 변환 영향력이 큰 필터를 강조한다.
• 필터는 베타-랭크 점수에 따라 순위 매겨지고, 기능 표현 변화에 기여도가 높은 필터를 우선으로 프루닝한다.
• 사전학습 이후의 피니팅 단계에서 이 방법을 적용함으로써 프루닝 중 정확도 저하를 최소화한다.
• IDRID와 ISIC를 포함한 여러 벤치마크에서 동일한 학습 조건 하에 평가되었으며, 아블레이션 스터디를 통해 강건성을 검증하였다.
• 실세계 효율성 향상을 입증하기 위해 스마트폰 앱을 개발하여 메모리 사용량과 추론 시간 감소를 측정하였다.

실험 결과

연구 질문

• RQ1 입력-출력 활성화 변화를 고려한 필터 프루닝 방법이 기존의 가중치 기반 순위 매기기 방식보다 불균형한 의료 영상 데이터셋에서 더 우수한 성능을 내는가?
• RQ2 Beta-Rank는 불균형한 의료 데이터에서 정확도를 유지하거나 향상시키면서 최대 얼마나 FLOPs와 파라미터를 감소시킬 수 있는가?
• RQ3 기본 모델 대비 Beta-Rank의 실세계 모바일 배포 환경에서의 성능은 어떠한가?
• RQ4 제안된 순위 매기기 기법이 의료 영상 데이터셋에서 희귀하거나 미대표적인 클래스에 대해 더 나은 일반화 성능을 보이는가?
• RQ5 자원 부족 상황에서 기존 프루닝 방법과 비교해 Beta-Rank는 강건성과 효율성 측면에서 얼마나 뛰어난가?

주요 결과

• Beta-Rank는 IDRID 데이터셋에서 최대 58%의 FLOPs 감소를 기록했으며, 기준 모델의 정확도를 유지하거나 초월했다.
• ISIC 데이터셋에서는 최대 45%의 FLOPs 감소를 기록했고, 기준 모델과 동등하거나 더 우수한 성능을 보였다.
• 스마트폰 앱에 배포했을 때 메모리 사용량이 79% 감소하고 예측 시간이 72% 감소했다.
• 다양한 벤치마크에서 기존 14종의 프루닝 방법보다 우수했으며, 특히 클래스 불균형 데이터 처리에서 뛰어난 성능을 보였다.
• 가중치 크기나 기울기 기반 방법보다 활성화 변화 기반 순위 매기기가 핵심 필터를 더 효과적으로 식별하는 데 유리했다.
• 기존 프루닝 방법이 실패하기 쉬운 희귀 질환 클래스에 대해서도 강력한 일반화 및 강건성을 입증했다.