[논문 리뷰] GaborNet: Gabor filters with learnable parameters in deep convolutional neural networks

Andrey Alekseev, Anatoly Bobe|arXiv (Cornell University)|2019. 04. 30.

Remote-Sensing Image Classification참고 문헌 15인용 수 16

한 줄 요약

GaborNet은 첫 번째 레이어에 학습 가능한 고바르 필터를 갖춘 딥 컨볼루션 신경망을 도입하여, 합성곱 커널을 고바르 함수 형태로 제약함으로써 학습 수렴 속도를 향상시키고 복잡성을 감소시킨다. 이 방법은 역전파를 통한 고바르 파rameter 최적화를 통해 표준 CNN보다 이미지 인식 벤치마크에서 뛰어난 성능을 달성한다.

ABSTRACT

The article describes a system for image recognition using deep convolutional neural networks. Modified network architecture is proposed that focuses on improving convergence and reducing training complexity. The filters in the first layer of the network are constrained to fit the Gabor function. The parameters of Gabor functions are learnable and are updated by standard backpropagation techniques. The system was implemented on Python, tested on several datasets and outperformed the common convolutional networks.

연구 동기 및 목표

• 딥 컨볼루션 신경망에서 수렴 속도를 향상시키고 학습 복잡성을 감소시키는 것.
• 학습 가능한 파rameter를 갖춘 생물학적으로 영감을 받은 고바르 필터를 첫 번째 합성곱 레이어에 통합하는 것.
• 고바르 유사 필터 구조를 강제하여 초기 레이어의 특징 추출을 향상시키는 것.
• 표준 이미지 인식 데이터셋에서 표준 CNN과의 성능을 평가하는 것.
• 제약이 가해진 학습 가능한 고바르 필터가 더 나은 일반화와 더 빠른 학습을 이끌 수 있음을 입증하는 것.

제안 방법

• 첫 번째 합성곱 레이어는 고바르 함수 형태로 제약된 필터를 사용한다: g(x,y) = exp(- (x² + y²)/(2σ²)) * cos(2πf₀x + φ).
• 고바르 함수의 파rameter—세기, 주파수, 위상, 표준편차—는 학습 가능한 것으로 간주하고 표준 역전파를 통해 업데이트된다.
• 모델 아키텍처는 엔드 투 엔드 미분 가능성을 유지하면서도 고바르 필터 제약을 강제하도록 수정된다.
• 모델은 표준 최적화 기법(예: SGD 또는 Adam)을 사용하여 이미지 분류 데이터셋에서 훈련된다.
• 파라미터 공간이 감소하고 초기 레이어에서 더 나은 인덕티브 바이어스가 제공되므로 수렴 속도가 빨라진다.
• 구현은 파이썬으로 이루어졌으며, CIFAR-10 및 SVHN을 포함한 여러 벤치마크 데이터셋에서 테스트되었다.

실험 결과

연구 질문

• RQ1 첫 번째 레이어 필터를 고바르 함수 형태로 제약함으로써 딥 CNN의 학습 수렴을 향상시킬 수 있는가?
• RQ2 학습 가능한 고바르 필터를 사용하면 이미지 인식 작업에서 더 나은 일반화와 성능을 달성할 수 있는가?
• RQ3 학습 속도와 정확도 측면에서 GaborNet의 파라미터 효율성은 표준 CNN보다 어떻게 비교되는가?
• RQ4 고바르 필터의 인덕티브 바이어스가 초기 레이어의 특징 학습을 어느 정도 향상시키는가?
• RQ5 더 적은 파라미터 또는 더 적은 학습 시간으로 GaborNet이 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• GaborNet은 벤치마크 데이터셋에서 표준 컨볼루션 네트워크보다 빠른 수렴 속도를 보였다.
• CIFAR-10 및 SVHN 데이터셋에서 분류 정확도에서 표준 CNN을 능가하는 성능을 보였다.
• 학습 가능한 고바르 필터의 사용으로 첫 번째 레이어의 효과적 파라미터 공간이 감소하여 최적화 속도가 향상되었다.
• 제약된 필터 구조는 인덕티브 바이어스를 향상시켜 초기 레이어에서 더 견고한 특징 학습을 이끌었다.
• 최소한의 아키텍처 변경으로도 여러 데이터셋에서 일관된 성능 향상을 보였다.
• 결과는 고바르 기반 인덕티브 바이어스가 학습 동역학과 최종 모델 정확도를 향상시킨다는 것을 확인시켰다.