[논문 리뷰] Less is More: Accelerating Faster Neural Networks Straight from JPEG

Samuel Felipe dos Santos, Jurandy Almeida|arXiv (Cornell University)|2021. 03. 31.

Advanced Neural Network Applications참고 문헌 13인용 수 8

한 줄 요약

이 논문은 데이터 기반 방식으로 모든 DCT 계수를 조합하고 조기 네트워크 단계를 건너뛰어 JPEG 압축 도메인의 컨볼루션 신경망을 가속화하는 방법을 제안한다. 채널별 투영(CCPR)과 조기 레이어 프루닝을 통해 계산 비용을 50% 감소시키면서 ImageNet에서 정확도를 향상시켰으며, 이는 고주파 DCT 계수를 기각하거나 모델 복잡도를 증가시키는 기존 방법들을 능가한다.

ABSTRACT

Most image data available are often stored in a compressed format, from which JPEG is the most widespread. To feed this data on a convolutional neural network (CNN), a preliminary decoding process is required to obtain RGB pixels, demanding a high computational load and memory usage. For this reason, the design of CNNs for processing JPEG compressed data has gained attention in recent years. In most existing works, typical CNN architectures are adapted to facilitate the learning with the DCT coefficients rather than RGB pixels. Although they are effective, their architectural changes either raise the computational costs or neglect relevant information from DCT inputs. In this paper, we examine different ways of speeding up CNNs designed for DCT inputs, exploiting learning strategies to reduce the computational complexity by taking full advantage of DCT inputs. Our experiments were conducted on the ImageNet dataset. Results show that learning how to combine all DCT inputs in a data-driven fashion is better than discarding them by hand, and its combination with a reduction of layers has proven to be effective for reducing the computational costs while retaining accuracy.

연구 동기 및 목표

• JPEG 압축 이미지를 처리하는 CNN에서 정확도를 훼손하지 않고 계산 복잡도를 감소시키는 것.
• 기존 방법의 한계를 극복하기 위해 고주파 DCT 계수를 기각하거나 모델 파rameter와 FLOPs를 증가시키는 것.
• 수동 필터링이나 프루닝이 아닌 데이터 기반 융합을 통해 모든 DCT 계수를 활용하는 것.
• JPEG 도메인에서 조기 네트워크 단계를 건너뛰는 것이 정확도와 효율성에 미치는 영향을 평가하는 것.
• 아키텍처 단순화를 통해 스테이지 건너뛰기를 수행할 경우, 지능적인 DCT 입력 처리와 결합하여 성능 향상을 이룰 수 있는지 입증하는 것.

제안 방법

• 각 8×8 블록의 모든 64개의 DCT 계수를 데이터 기반으로 융합하기 위한 채널별 컨volutional 투영(CCPR) 전략을 제안하여 풍부한 주파수 정보를 유지한다.
• RGB 복호화를 생략하고 DCT 계수를 직접 입력으로 받을 수 있도록 수정된 ResNet-50 아키텍처를 적용한다.
• 네트워크의 첫 번째 및 두 번째 스테이지를 건너뛰는 전략을 도입하여 FLOPs와 파라미터를 감소시키며, CCPR를 통해 입력 채널 일관성을 유지한다.
• 표준 컨볼루션 레이어를 대체하여 DCT에 특화된 연산을 사용하는 잔차 블록 설계를 통해 주파수 도메인 처리를 유지한다.
• 네트워크 깊이를 점진적으로 감소시키며, 다양한 스테이지 건너뛰기 구성에서의 성능을 평가한다.
• 최신 DCT 기반 모델들과의 정확도, FLOPs, 파라미터 수 비교를 위해 ImageNet에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 모든 DCT 계수를 데이터 기반으로 융합하는 것이 수동 필터링이나 고주파 성분 프루닝보다 성능이 뛰어나게 되는가?
• RQ2 DCT 기반 CNN에서 조기 네트워크 단계를 건너뛸 경우 계산 비용을 감소시키면서 정확도를 유지하거나 향상시킬 수 있는가?
• RQ3 CCPR 기반 채널 투영이 첫 번째 스테이지에서 입력 채널을 64에서 128로 감소시켜도 특징 표현을 효과적으로 유지할 수 있는가?
• RQ4 DCT 입력 융합과 스테이지 건너뛰기의 조합이 기존 최신 DCT 기반 모델들과 비교해 FLOPs와 정확도 측면에서 어떻게 성과를 내는가?
• RQ5 스테이지 건너뛰기의 성능 향상 효과가 입력 표현 전략(예: CCPR 대 FBS)에 따라 달라지는가?

주요 결과

• 네트워크의 첫 번째 및 두 번째 스테이지를 건너뛰어 계산 복잡도를 2.86 GFLOPs로 감소시키고 파라미터를 25.1M로 줄여 속도와 정확도 사이의 최적의 트레이드오프를 달성했다.
• 제안된 방법은 ImageNet 서브셋에서 71.21%의 top-1 정확도를 기록했으며, 굵은 검증 분할에서는 70.49%를 달성하여 기존 DCT 기반 모델들을 능가했다.
• 모든 DCT 계수를 데이터 기반으로 융합한 CCPR 전략은 고주파 계수의 50%를 기각하는 FBS 방법보다 성능이 뛰어나 전체 DCT 입력 활용의 유용성을 입증했다.
• 계산 비용을 감소시켰음에도 불구하고 전체 ImageNet에서 94.84%의 top-1 정확도를 유지하며 DCT 기반 모델 중 두 번째로 높은 순위를 기록했다.
• CCPR와 스테이지 건너뛰기의 조합 전략은 모델 깊이를 늘리거나 수동 DCT 필터링을 사용하는 것보다 더 효과적인 것으로 밝혀졌다.
• 결과적으로, 지능적인 입력 표현 학습과 결합된 스테이지 건너뛰기를 통한 아키텍처 단순화가 성능 향상에 기여할 수 있음을 입증했다.