[논문 리뷰] Enhancing sensor resolution improves CNN accuracy given the same number of parameters or FLOPS

Ali Borji|arXiv (Cornell University)|2021. 03. 09.

Advanced Neural Network Applications참고 문헌 2인용 수 4

한 줄 요약

이 논문은 모델 파라미터 수나 FLOPS를 늘리지 않고 네트워크 레이어를 체계적으로 수정함으로써 입력 이미지 해상도를 높임으로써 CNN 정확도를 향상시킬 수 있음을 보여준다. 주요 기여는 네 가지 해상도 인식 아키텍처 적응 방법을 통해 해상도 자체가 모델 용량과 무관하게 성능 향상에 기여함을 증명한 것이다.

ABSTRACT

High image resolution is critical to obtain a good performance in many computer vision applications. Computational complexity of CNNs, however, grows significantly with the increase in input image size. Here, we show that it is almost always possible to modify a network such that it achieves higher accuracy at a higher input resolution while having the same number of parameters or/and FLOPS. The idea is similar to the EfficientNet paper but instead of optimizing network width, depth and resolution simultaneously, here we focus only on input resolution. This makes the search space much smaller which is more suitable for low computational budget regimes. More importantly, by controlling for the number of model parameters (and hence model capacity), we show that the additional benefit in accuracy is indeed due to the higher input resolution. Preliminary empirical investigation over MNIST, Fashion MNIST, and CIFAR10 datasets demonstrates the efficiency of the proposed approach.

연구 동기 및 목표

• 더 높은 해상도에서 향상된 CNN 정확도가 해상도 자체 때문인지 모델 용량 증가 때문인지 조사하기.
• 입력 해상도를 높이되 파라미터 수나 FLOPS를 동일하게 유지하는 방법 개발하기.
• 해상도 최적화만으로 고정된 계산 예산 내에서 실용적인 정확도 향상 가능하게 하기.
• 전체 NAS나 EfficientNet 방식의 다차원 탐색과 대비해 확장 가능하고 저비용 대안 제공하기.

제안 방법

• 기존 CNN 레이어를 재구성하여 더 높은 해상도 입력을 수용하면서도 파라미터 수나 FLOPS를 유지하는 네 가지 방법(I–IV) 제안.
• 방법 I는 스트라이드 컨볼루션과 적응형 평균 풀링을 사용하여 해상도와 FLOPS를 유지한다.
• 방법 II는 커널 크기와 스트라이드를 조정하여 컨볼루션 레이어 후 특징 맵 크기와 FLOPS를 유지한다.
• 방법 III는 풀링 및 컨볼루션 레이어를 수정하여 다중 레이어에 걸쳐 해상도와 FLOPS를 유지한다.
• 방법 IV는 확장 컨볼루션과 커널 크기 조정을 사용하여 FLOPS를 늘리지 않고 수용각과 해상도를 증가시킨다.
• MNIST, Fashion-MNIST, CIFAR-10에서 해상도, 커널 크기, 스트라이드, 패딩을 변형한 그리드 서치를 통해 방법의 실증적 평가 수행.

실험 결과

연구 질문

• RQ1 파라미터 수와 FLOPS를 일정하게 유지할 때 더 높은 입력 해상도가 모델 용량과 무관하게 CNN 정확도를 향상시키는가?
• RQ2 파라미터 수나 FLOPS를 동일하게 유지하면서 입력 해상도를 높일 수 있도록 CNN을 체계적으로 수정할 수 있는가?
• RQ3 고정된 계산 예산 하에서 해상도 향상을 위한 가장 효과적인 아키텍처 적응 기법은 무엇인가?
• RQ4 더 높은 해상도에서의 성능 향상은 모델 용량 증가가 아닌 더 세밀한 특징 표현 때문인가?

주요 결과

• 파라미터 수와 FLOPS를 일정하게 유지할 때도 더 높은 입력 해상도가 CNN 정확도를 일관되게 향상시켜, 해상도 자체가 성능 향상에 기여함을 증명한다.
• 확장 컨볼루션과 커널 크기 조정을 사용하는 방법 IV가 가장 높은 정확도 향상을 달성하며, 특히 더 높은 해상도 증가 여유가 있는 낮은 해상도에서 두드러진 성능 향상을 보인다.
• 평균 풀링에 의존하는 방법 I는 해상도가 증가할수록 특징 맵 압축으로 인한 정보 손실로 인해 성능이 떨어진다.
• 방법 II와 III는 약간의 향상만 보이며, 효과적인 해상도 스케일링을 위해서는 레이어 재구성에 세심한 주의가 필요함을 시사한다.
• 결과는 동일한 모델 용량에서도 더 높은 해상도에서의 세밀한 공간 정보를 CNN이 효과적으로 활용할 수 있음을 확인한다.
• 모든 데이터셋에서 기존 모델 대비 동일한 FLOPS나 파라미터 수를 유지하면서 더 높은 해상도 모델을 선택할 수 있으며, 이는 원본 모델보다 성능이 뛰어나게 된다.