[논문 리뷰] Collapsible Linear Blocks for Super-Efficient Super Resolution

Kartikeya Bhardwaj, Miloš Milosavljević외 7명|arXiv (Cornell University)|2021. 03. 17.

Advanced Image Processing Techniques참고 문헌 38인용 수 10

한 줄 요약

이 논문은 이미지 품질을 훼손하지 않으면서도 계산 효율성을 크게 향상시키는 새로운 CNN 아키텍처인 슈퍼 효율적 초해상도(Super-Efficient Super Resolution, SESR)를 제안한다. 추론 시 과다 파rameter화된 선형 레이어를 분석적으로 단일 컨볼루션으로 압축할 수 있는 '수축 가능한 선형 블록'을 사용함으로써, 기존 모델 대비 2배에서 330배까지 줄어든 MAC 연산을 달성하며, 이로 인해 이동식 NPU에서 실시간 ×2(1080p에서 4K로) 및 ×4(1080p에서 8K로) 초해상도 처리가 가능해졌고, 기존 방법 대비 최대 8배 높은 FPS를 확보하였다.

ABSTRACT

With the advent of smart devices that support 4K and 8K resolution, Single Image Super Resolution (SISR) has become an important computer vision problem. However, most super resolution deep networks are computationally very expensive. In this paper, we propose Super-Efficient Super Resolution (SESR) networks that establish a new state-of-the-art for efficient super resolution. Our approach is based on linear overparameterization of CNNs and creates an efficient model architecture for SISR. With theoretical analysis, we uncover the limitations of existing overparameterization methods and show how the proposed method alleviates them. Detailed experiments across six benchmark datasets demonstrate that SESR achieves similar or better image quality than state-of-the-art models while requiring 2x to 330x fewer Multiply-Accumulate (MAC) operations. As a result, SESR can be used on constrained hardware to perform x2 (1080p to 4K) and x4 (1080p to 8K) SISR. Towards this, we estimate hardware performance numbers for a commercial Arm mobile-Neural Processing Unit (NPU) for 1080p to 4K (x2) and 1080p to 8K (x4) SISR. Our results highlight the challenges faced by super resolution on AI accelerators and demonstrate that SESR is significantly faster (e.g., 6x-8x higher FPS) than existing models on mobile-NPU. Finally, SESR outperforms prior models by 1.5x-2x in latency on Arm CPU and GPU when deployed on a real mobile device. The code for this work is available at https://github.com/ARM-software/sesr.

연구 동기 및 목표

• 자원 제약이 있는 이동식 기기에서 단일 이미지 초해상도(SISR)를 위한 기존 딥 컨볼루션 네트워크의 계산 비효율성 문제를 해결하기 위해.
• 이미지 품질(PSNR)과 계산 비용(MAC 연산) 사이의 트레이드오프에서 새로운 파레토 경계를 설정하기 위해.
• 정확성과 높은 효율성을 동시에 확보한 모델 설계를 통해 이동식 NPU에서 실시간 ×2 및 ×4 SISR를 가능하게 하기 위해.
• 기존 선형 과다 파rameter화 기법(예: RepVGG)의 이론적 한계를 극복하기 위해, 특히 얕은 네트워크에서는 기울기 업데이트에 유의미한 이점을 제공하지 않는다는 점을 해결하기 위해.
• 엔드 투 엔드 배포와 오픈소스 성능 추정을 통해 실제 이동식 하드웨어(CPU, GPU, NPU)에서의 실용적 성능 향상을 입증하기 위해.

제안 방법

• 수축 가능한 선형 블록을 제안함—이것은 추론 시 분석적으로 병합되어 단일 좁은 컨볼루션으로 변환될 수 있는 선형 컨볼루션 레이어의 조합이며, 아키텍처를 변경하지 않고도 MAC 연산을 줄일 수 있음.
• 선형 과다 파arameter화를 활용해 훈련 안정성과 일반화 성능를 향상시키며, 훈련 후 정확한 파arameter 압축이 가능하도록 함.
• 기존 과다 파arameter화 기법을 이론적으로 분석하고, RepVGG와 같은 방법이 얕은 네트워크에서는 기울기 업데이트에 영향을 주지 않음을 입증함으로써 그 유용성의 한계를 밝힘.
• 과다 파arameter화된 블록을 훈련 시 사용하지만 추론 시 단일 레이어로 압축하는 수정된 훈련 프로토콜을 적용함으로써, 정확도는 유지하면서 추론 비용을 감소시킴.
• NPU 성능 향상을 위해 커널 형상(예: 짝수 크기 및 비대칭 커널) 최적화를 위한 신경망 아키텍처 탐색(NAS)을 적용함.
• Arm Ethos-U55 및 Ethos-N78 NPU에서 추론 성능을 예측하고 검증하기 위해 오픈소스 NPU 성능 추정 도구(Vela 등)를 활용함.

실험 결과

연구 질문

• RQ1 선형 과다 파arameter화를 활용해 이동식 기기 배포에 적합한 정확성과 높은 효율성을 동시에 확보한 SISR 모델을 설계할 수 있는가?
• RQ2 기존 과다 파arameter화 기법(예: RepVGG)은 얕은 네트워크에서 실제 훈련 이점을 제공하는가, 아니면 기울기 동역학에 영향을 주지 못하는가?
• RQ3 수축 가능한 선형 블록을 통해 다양한 벤치마크에서 SISR의 품질-계산 비용 트레이드오프에서 새로운 파레토 경계를 달성할 수 있는가?
• RQ4 실제 이동식 하드웨어(CPU, GPU, NPU)에서 기존 모델 대비 지연 시간과 FPS 측면에서 SESR의 성능은 어떠한가?
• RQ5 NAS를 통한 커널 최적화가 정확도를 훼손하지 않으면서도 이동식 NPU에서 추론 속도를 추가로 향상시킬 수 있는가?

주요 결과

• SESR는 여섯 개의 벤치마크 데이터셋에서 최신 SISR 모델 대비 2배에서 330배까지 줄어든 MAC 연산을 기록하면서도 PSNR를 유지하거나 향상시켰다.
• 4-TOP/s의 Arm Ethos-N78 이동식 NPU에서, 1080p에서 4K(×2) SISR에 대해 기존 모델 대비 6배에서 8배 높은 FPS를 달성했으며, 일부 변종은 60 FPS를 초과함.
• 1080p에서 8K(×4) SISR에 대해 동일한 NPU에서 최대 22 FPS를 기록했으며, 이는 FSRCNN의 6 FPS 대비 뚜렷한 성능 우위를 확보함.
• 실제 이동식 하드웨어(Arm Cortex-A77 CPU 및 Mali-G78 GPU)에서 SESR-M5는 ×2 및 ×4 SISR 작업 전반에서 FSRCNN 대비 지연 시간을 1.5배에서 2배까지 줄임.
• 더 작은 크기, 짝수 크기, 비대칭 커널을 사용한 NAS 최적화된 SESR 네트워크는 SESR-M5 대비 추론 시간을 15% 감소시켰으며, 정확도는 동일하게 유지함.
• Vela를 통한 오픈소스 NPU 성능 추정 결과, SESR-M5는 Arm Ethos-U55(NPU, 0.5 TOP/s)에서 22.67 FPS를 기록했으며, 이는 FSRCNN의 2.71 FPS 대비 8.4배 향상된 성능임.