[논문 리뷰] Fast Fourier Transformation for Optimizing Convolutional Neural Networks in Object Recognition

Varsha Nair, Moitrayee Chatterjee외 3명|arXiv (Cornell University)|2020. 10. 08.

Advanced Neural Network Applications참고 문헌 20인용 수 12

한 줄 요약

이 논문은 주어진 이미지와 커널 데이터를 주파수 영역으로 변환하여 요소 간 곱셈을 통한 효율적 복소수 컨볼루션을 가능하게 함으로써 객체 인식을 위한 컨볼루션 신경망(CNN)의 연산 속도를 향상시키기 위해 FFT 기반의 U-Net 아키텍처를 제안한다. 이 방법은 600–700 ms/스텝에서 400–500 ms/스텝으로 학습 시간을 단축시키며, BBBC 데이터셋에서 평균 교차율(IoU)을 0.52에서 0.83으로 향상시켜 더 빠른 수렴과 높은 세그멘테이션 정확도를 입증한다.

ABSTRACT

This paper proposes to use Fast Fourier Transformation-based U-Net (a refined fully convolutional networks) and perform image convolution in neural networks. Leveraging the Fast Fourier Transformation, it reduces the image convolution costs involved in the Convolutional Neural Networks (CNNs) and thus reduces the overall computational costs. The proposed model identifies the object information from the images. We apply the Fast Fourier transform algorithm on an image data set to obtain more accessible information about the image data, before segmenting them through the U-Net architecture. More specifically, we implement the FFT-based convolutional neural network to improve the training time of the network. The proposed approach was applied to publicly available Broad Bioimage Benchmark Collection (BBBC) dataset. Our model demonstrated improvement in training time during convolution from $600-700$ ms/step to $400-500$ ms/step. We evaluated the accuracy of our model using Intersection over Union (IoU) metric showing significant improvements.

연구 동기 및 목표

• 객체 인식에 사용되는 CNN에서 컨볼루션 연산의 높은 계산 비용을 줄이기 위해.
• 의료 영상 세그멘테이션을 위한 딥러닝 모델에서 학습 효율성과 수렴 속도를 향상시키기 위해.
• U-Net 아키텍처의 입력 레이어에 빠른 푸리에 변환(FFT)을 통합함으로써 향상된 특징 학습 능력을 평가하기 위해.
• 주파수 영역 변환을 통해 세그멘테이션 정확도와 학습 안정성이 향상될 수 있음을 입증하기 위해.
• 모바일 및 임베디드 시스템과 같은 자원 제약 환경에서 계산적으로 효율적인 대안을 제공하기 위해.

제안 방법

• 입력 이미지 데이터에 빠른 푸리에 변환(FFT)을 적용하여 공간 컨볼루션을 주파수 영역에서 요소 간 곱셈으로 변환하는 U-Net 모델에 입력하기 위해.
• 표준 컨볼루션 연산을 대체하는 FFT 기반 복소수 컨볼루션 레이어를 구현하여 큰 커널에 대해 계산 복잡도를 감소시키기 위해.
• 의료 영상 세그멘테이션을 위한 완전 컨볼루션 네트워크로 U-Net 아키텍처를 사용하고, 특징 추출을 가속화하기 위해 FFT 전처리를 적용하기 위해.
• 교차 엔트로피 손실을 사용하고 Adam 옵timizer로 최적화하여, FFT 전처리 유무에 따라 성능을 비교하기 위해.
• 예측 마스크에서 세그멘테이션된 객체를 식별하기 위해 국소 최대값 탐지 및 DBScan 군집화를 후처리 단계로 적용하기 위해.
• 학습 및 검증 세트에서의 교차율(IoU), 로그 손실, 평균 IoU를 사용하여 모델 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 FFT 기반 복소수 컨볼루션은 U-Net의 객체 인식 작업에서 학습 시간을 크게 단축시킬 수 있는가?
• RQ2 입력 데이터를 주파수 영역으로 변환하면 CNN의 세그멘테이션 정확도가 향상되는가?
• RQ3 FFT 전처리가 학습 손실과 IoU 지표의 안정성 및 수렴에 어떤 영향을 미치는가?
• RQ4 특징 표현을 손상시키지 않으면서도 FFT 가속화가 생체 영상 세그멘테이션에 효과적으로 적용될 수 있는가?
• RQ5 FFT 처리의 성능 향상 효과가 다양한 에포크와 데이터 분할 간 일관성 있는가?

주요 결과

• FFT 기반 모델은 600–700 ms/스텝에서 400–500 ms/스텝로 컨볼루션 학습 시간을 단축시켜 학습 속도를 28.6%에서 33.3% 향상시켰다.
• FFT 기반 모델은 100 에포크 후 평균 IoU 점수가 0.83에 도달했고, 비-FFT 모델의 0.52와 비교해 상당한 정확도 향상을 보였다.
• FFT 기반 모델의 로그 손실은 약 -0.875로 안정화되었고, 비-FFT 모델의 -0.6025와 비교해 더 낮아 더 나은 최적화와 일반화를 나타냈다.
• IoU 지표 그래프는 FFT를 사용한 경우 100 에포크 동안 일관되고 안정적인 성능을 보였고, 비-FFT 모델은 변동성이 큰 손실과 IoU 값을 보였다.
• FFT 처리된 출력에 대해 DBScan 군집화를 적용한 결과 20개의 고유한 군집이 확인되어 정밀한 세그멘테이션 마스크에서의 객체 정위치 확인이 효과적으로 이루어졌음을 확인했다.
• FFT 기반 모델은 IoU 0.8747과 교차 검증 손실 -0.8753을 기록하여 비-FFT 모델의 IoU 0.6815와 손실 -0.6025를 뛰어넘는 성능을 보였다.