[논문 리뷰] Rethinking FUN: Frequency-Domain Utilization Networks

Kfir Goldberg, Stav Shapiro외 2명|arXiv (Cornell University)|2020. 12. 06.

Software Testing and Debugging Techniques참고 문헌 26인용 수 10

한 줄 요약

이 논문은 RGB 픽셀 대신 이산余弦변환(DCT) 계수를 직접 처리하는 CNN 가족인 주파수 도메인 활용 네트워크(FUN)를 소개한다. 이를 통해 모델 크기와 추론 지연 시간을 크게 줄일 수 있다. 복합 스케일링과 역전형 잔차 블록과 같은 현대적 아키텍처 구성 요소를 활용함으로써 FUN 모델는 ImageNet에서 최신 기준 정확도를 달성하면서도 재학습 없이도 동적 입력 압축을 지원한다. eFUN은 정확도 저하가 최소한인 상태에서 EfficientNet-B0 대비 20% 작고 65% 빠른 성능을 보인다.

ABSTRACT

The search for efficient neural network architectures has gained much focus in recent years, where modern architectures focus not only on accuracy but also on inference time and model size. Here, we present FUN, a family of novel Frequency-domain Utilization Networks. These networks utilize the inherent efficiency of the frequency-domain by working directly in that domain, represented with the Discrete Cosine Transform. Using modern techniques and building blocks such as compound-scaling and inverted-residual layers we generate a set of such networks allowing one to balance between size, latency and accuracy while outperforming competing RGB-based models. Extensive evaluations verifies that our networks present strong alternatives to previous approaches. Moreover, we show that working in frequency domain allows for dynamic compression of the input at inference time without any explicit change to the architecture.

연구 동기 및 목표

• 정확도, 모델 크기, 추론 지연 시간을 균형 있게 고려한 효율적인 신경망 아키텍처 설계
• CNN에 대한 RGB 입력 대안으로 주파수 도메인 표현(즉, DCT를 통한 표현)의 탐색
• 재학습 없이도 추론 시 동적 입력 압축을 가능하게 하기 위해 DCT 표현의 본질적 특성을 활용함
• MBConv 및 역전형 잔차 블록과 같은 현대적 빌딩 블록을 사용해 확장 가능한 모델 패밀리 개발
• 학습 가능한 DCT 유사 레이어가 고정된 DCT 변환을 능가하거나 대체할 수 있는지 평가, 효율성 및 압축 이점을 유지하는지 여부

제안 방법

• 이미지를 YCbCr로 변환한 후 각 8×8 블록에 대해 이산余弦변환(DCT)을 적용하여 주파수 도메인 특징 맵을 생성한다.
• 저자들은 두 가지 주요 아키텍처를 설계했다: 잔차 블록 기반 ResFUN과 역전형 잔차(MBConv) 블록 기반 eFUN으로, 모두 DCT 계수를 직접 처리한다.
• 정확도, 크기, 지연 시간 간의 균형을 맞추기 위해 복합 스케일링을 적용해 깊이, 너비, 해상도가 다른 FUN 모델 패밀리 생성.
• 추론 중 고주파 DCT 계수를 0으로 설정함으로써 입력 압축을 구현하며, 이는 저주파 성분이 시각적 콘텐츠를 지배하기 때문이다.
• 학습 가능한 DCT 레이어는 DCT 유사 필터를 가진 컨볼루션 레이어를 통해 도입되며, 별도로 학습(LeFUN)하거나 엔드 투 엔드로 학습(LeFUN-e2e)한다.
• 표준 메트릭을 사용해 ImageNet에서 평가: 상위-1 정확도, 파라미터 수, FLOPs, 입력 채널 감소에 대한 아블레이션 분석

실험 결과

연구 질문

• RQ1 DCT를 통한 주파수 도메인 표현이 정확도를 희생시키지 않고도 모델 크기와 추론 지연 시간 측면에서 CNN의 효율성을 향상시킬 수 있는가?
• RQ2 재학습 없이도 DCT 기반 모델에서 추론 시 동적으로 입력 압축을 적용할 수 있는 정도는 어느 정도이며, 성능 저하 없이 가능한가?
• RQ3 학습 가능한 DCT 유사 레이어는 고정된 DCT 변환 대비 주파수 도메인 네트워크에서 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ4 MBConv 및 복합 스케일링과 같은 현대적 아키텍처 구성 요소는 주파수 도메인 입력에 효과적으로 적용될 수 있는가? 이를 통해 확장 가능하고 효율적인 모델을 만들 수 있는가?
• RQ5 고주파 DCT 계수를 제거할 경우 모델 정확도에 어떤 영향을 미치며, 이는 본질적인 동적 압축 기능을 뒷받침하는가?

주요 결과

• eFUN 모델는 ImageNet에서 EfficientNet-B0 대비 20% 작고 65% 더 빠르며, 상위-1 정확도는 약간 떨어지지만 거의 유사하다.
• 입력 DCT 채널을 192에서 88로 줄였을 때(54% 감소) 상위-1 정확도는 1%만 감소하여 강력한 동적 압축 능력을 입증한다.
• 입력 채널의 75%를 제거(192에서 48로)했을 때 정확도는 7.5% 감소하며, 이는 고주파 성분이 분류에 있어 덜 중요한 것으로 나타난다.
• LeFUN-e2e 변종은 77.2%의 상위-1 정확도를 달성하여 고정된 eFUN 모델(77.0%)을 略로 초월하지만, 모델 크기가 증가하고 해석성이 떨어지는 대가를 치르게 된다.
• LeFUN 및 LeFUN-e2e에서 학습된 필터는 표준 DCT 필터와 크게 다름을 보이며, 이는 학습된 필터가 DCT의 구조적이고 주파수 순서가 정렬된 성질을 완전히 재현하지 못함을 시사한다.
• 고정된 DCT 표현은 본질적으로 동적 입력 압축을 지원하지만, 학습 가능한 변환을 사용할 경우 새로운 압축 수준을 위해서는 재학습이 필요해 이 기능을 失한다.