[논문 리뷰] A Data and Compute Efficient Design for Limited-Resources Deep Learning

Mirgahney Mohamed, Gabriele Cesa외 2명|arXiv (Cornell University)|2020. 04. 21.

COVID-19 diagnosis using AI참고 문헌 39인용 수 14

한 줄 요약

이 논문은 자원이 제한된 딥러닝 환경을 위한 계산 효율적이고 양자화된 등변성 버전의 MobileNetV2을 제안하며, 패치 카마일리온 의료 영상 데이터셋에서 최신 기술 수준의 성능을 달성한다. 군 등변성 컨벌루션과 INT8 정밀도의 가중치 및 활성화 양자화를 통합함으로써, 모델 크기와 추론 비용을 줄이면서도 등변성과 일반화 능력을 유지한다.

ABSTRACT

Thanks to their improved data efficiency, equivariant neural networks have gained increased interest in the deep learning community. They have been successfully applied in the medical domain where symmetries in the data can be effectively exploited to build more accurate and robust models. To be able to reach a much larger body of patients, mobile, on-device implementations of deep learning solutions have been developed for medical applications. However, equivariant models are commonly implemented using large and computationally expensive architectures, not suitable to run on mobile devices. In this work, we design and test an equivariant version of MobileNetV2 and further optimize it with model quantization to enable more efficient inference. We achieve close-to state of the art performance on the Patch Camelyon (PCam) medical dataset while being more computationally efficient.

연구 동기 및 목표

• 자원이 제한된 환경, 특히 계산 능력과 레이블이 부족한 개발도상국에서 정확한 딥러닝 모델을 구현하는 데 도전한다.
• 모바일 및 엣지 배포를 위한 데이터 효율적인 등변성 네트워크와 계산 효율적인 모델 설계 간의 상호 호환성 문제를 해결한다.
• 소형이고 효율적인 아키텍처에서 모델 양자화와 함께 등변성이 유지되고 유용한지 조사한다.
• 모델 아키텍처와 정밀도를 최적화함으로써 의료 영상 분석을 위한 효율적인 현장 내 추론을 가능하게 하되, 성능이나 등변성은 손상시키지 않는다.

제안 방법

• 12개의 이산 회전(D12 군)을 사용한 군 컨벌루션을 활용해 MobileNetV2의 등변성 변형을 설계하여, 출력 변환과 입력 회전이 일치하도록 보장한다.
• 학습 안정성과 최적화 중 등변성 유지의 목적으로 스펙트럴 정규화와 가중치 스케일링을 적용하며, 들어오는 및 나가는 가중치 범위 기반 채널별 스케일링을 사용한다.
• 배치 정규화 통계를 활용해 편향 값을 이동시키는 편향 흡수 기법을 도입하여, 도는 채널 간 대칭적인 업데이트를 보장함으로써 등변성을 유지한다.
• 후기 양자화를 통해 INT8 정밀도로 적용하며, 모델 안정성을 유지하고 정확도 저하를 방지하기 위해 균형 기법을 사용한다.
• 학습 중에 π/2 회전과 반사와 같은 데이터 증강을 적용하여 일반화 능력을 더욱 향상시키며, 모델의 대칭성 특성과 일관성을 유지한다.
• 아키텍처 호환성을 확보하기 위해 PCam 데이터셋의 해상도가 낮은 점을 감안해 스트라이드와 입력 자르기 조정을 통해 특징 맵 일致성을 유지한다.

실험 결과

연구 질문

• RQ1 등변성 신경망을 모델 양자화와 효과적으로 조합하여 모바일 디바이스에서 저비용으로 높은 정확도를 달성할 수 있는가?
• RQ2 양자화가 대칭 인식 학습을 위한 모델에서 성능 저하 또는 등변성 성질 파괴를 초래하는가?
• RQ3 등변성 아키텍처가 압축된 INT8 정밀도로 변환되더라도, 자원이 제한된 엣지 디바이스에 배포되어도 높은 정확도를 유지할 수 있는가?
• RQ4 특히 소형 모델 영역에서, 양자화 이후 등변성으로 인한 성능 향상이 유지되는가?
• RQ5 등변성과 양자화의 조합이, 데이터가 적은 영역에서 모델의 표현력과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 등변성 MobileNetV2는 PCam 데이터셋에서 테스트 정확도 89.19%를 기록하여, 전체 정밀도 설정에서 기존의 MobileNetV2(84.67%)보다 뚜렷이 뛰어난 성능을 보였다.
• INT8로의 양자화 후에도 등변성 모델은 88.94%의 정확도를 유지하며, 정확도 저하가 0.3%에 불과하여, 양자화와 등변성 간의 호환성을 입증했다.
• 기존의 MobileNetV2는 양자화 후 정확도 저하가 더 크며(0.4%), 등변성이 양자화 노이즈에 대한 강건성을 향상시킨다는 것을 시사한다.
• 제안된 균형 기법과 편향 흡수 기법은 도는 특징 채널 간 대칭적인 가중치 및 편향 스케일링을 보장함으로써, 양자화 과정 중 등변성을 유지한다.
• 이 방법은 계산 효율적이면서도 PCam에서 최신 기술 수준의 성능을 달성하여, 모바일 및 엣지 디바이스에의 배포에 적합하다.
• 실험 결과 등변성이 양자화 조건에서도 안정적으로 유지되며, N=4를 초월하는 회전에 대해 밴드 제한 인터폴레이션을 사용하더라도 실질적인 성능 저하가 최소한이었다.