[논문 리뷰] FrequentNet: A Novel Interpretable Deep Learning Model for Image Classification

Yifei Li, Kuangyan Song외 2명|arXiv (Cornell University)|2020. 01. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 5

한 줄 요약

이 논문은 백프로파게이션을 통한 필터 학습을 피하는 고정된, 데이터에 의존하지 않는 필터를 사용하는 새로운 해석 가능한 딥러닝 모델인 FrequentNet을 제안한다. 이 필터는 이산 푸리에 변환(DFT) 및 웨이블릿 기반에서 유도된 것으로, 학습 과정에서의 백프로파게이션 없이도 MNIST 및 CIFAR10에서 경쟁력 있는 정확도를 달성하면서도 표준 CNN 및 PCANet에 비해 더 높은 해석 가능성과 계산 효율성을 제공한다.

ABSTRACT

This paper has proposed a new baseline deep learning model of more benefits for image classification. Different from the convolutional neural network(CNN) practice where filters are trained by back propagation to represent different patterns of an image, we are inspired by a method called "PCANet" in "PCANet: A Simple Deep Learning Baseline for Image Classification?" to choose filter vectors from basis vectors in frequency domain like Fourier coefficients or wavelets without back propagation. Researchers have demonstrated that those basis in frequency domain can usually provide physical insights, which adds to the interpretability of the model by analyzing the frequencies selected. Besides, the training process will also be more time efficient, mathematically clear and interpretable compared with the "black-box" training process of CNN.

연구 동기 및 목표

• 백프로파게이션 기반 필터 학습의 투명하지 않은 성질을 피하는 이미지 분류를 위한 딥러닝 모델을 개발한다.
• DFT 및 웨이블릿과 같은 주파수 도메인 기반의 물리적으로 의미 있는 고정 필터를 사용하여 모델의 해석 가능성을 향상시킨다.
• 최적화 기반 필터 학습을 제거함으로써 학습 시간을 단축하고 수학적 투명성을 높인다.
• 표준 벤치마크에서 학습된 필터와 비교했을 때 주파수 도메인 필터가 경쟁력 있는 성능를 보일 수 있는지 평가한다.
• 학습된 필터 응답을 주파수 도메인에서 분석함으로써 얻는 해석 가능성의 이점을 탐색한다.

제안 방법

• 특정 주파수에서의 코사인 및 사인 성분으로부터 유도된 이산 푸리에 변환(DFT) 기저 벡터를 고정 필터로 사용한다.
• 국소적이고 에지 민감한 특징을 캡처하는 데 사용되는 다우브체스 D4 웨이블릿 기저 벡터를 대체 고정 필터로 적용한다.
• 각 단계에서 고정된 주파수 도메인 필터를 사용한 컨볼루션을 수행한 후 이진화 및 풀링을 수행하는 두 단계로 구성된 네트워크 아키텍처를 구축한다.
• 데이터에 의존하지 않는 필터 선택 과정을 적용하여, 필터 학습 중 최적화나 백프로파게이션을 전혀 수행하지 않는다.
• 최대 풀링 및 완전 연결 계층을 포함한 CNN 유사 아키텍처에 주파수 도메인 필터를 통합하여 분류를 수행한다.
• 비교를 위해 2D DFT로 확장했지만, MNIST 변형에서는 성능 향상이 관찰되지 않았다.

실험 결과

연구 질문

• RQ1 DFT 및 웨이블릿 기반의 고정된, 데이터에 의존하지 않는 필터가 백프로파게이션 없이도 경쟁력 있는 이미지 분류 정확도를 달성할 수 있는가?
• RQ2 백프로파게이션을 통해 학습된 필터와 비교했을 때 주파수 도메인에서의 필터 응답의 해석 가능성은 어떻게 다른가?
• RQ3 주파수 도메인 필터가 주성분 기반 필터보다 이미지 특징(예: 에지, 텍스처)에 대해 더 나은 통찰을 제공하는가?
• RQ4 표준 벤치마크인 MNIST 및 CIFAR10에서 DFT 필터와 웨이블릿 필터는 성능 및 특징 표현 측면에서 어떻게 비교되는가?
• RQ5 주파수 도메인 필터와 주성분 기반 필터를 조합하면 성능 향상이 이루어지며 해석 가능성은 유지되는가?

주요 결과

• FrequentNet은 MNIST 기본 데이터셋에서 97.80%의 테스트 정확도, bg-rand에서 89.60%, rot에서 87.60%를 기록하여 백프로파게이션 없이도 뛰어난 성능를 보였다.
• CIFAR10에서 이중 단계의 FourierNet-2는 67.70%의 정확도를 기록했고, PCANet-2는 70.95%를 기록하여 FrequentNet이 경쟁력은 있지만 PCANet에 약간 뒤지지는 않았다.
• PCA-Fourier(69.75%) 및 Fourier-PCA(68.30%)와 같은 통합 모델은 단독의 FourierNet-2보다 성능 향상을 보였으며, 상호 보완적 상호작용의 잠재력이 있음을 시사했다.
• 시각화 결과, FourierNet-2 필터는 저주파 및 고주파 성분을 모두 캡처하는 것으로 확인되었고, 웨이블릿 필터는 에지 유사 특징을 추출함으로써 물리적 해석 가능성의 타당성을 입증했다.
• 단일 필터를 사용한 저랭크 근사 분석 결과, 푸리에 필터와 PCA 필터는 유사한 패턴을 추출하는 것으로 나타났고, 웨이블릿 필터는 에지를 강조함을 확인했다.
• 백프로파게이션 및 최적화 과정이 없기 때문에 표준 CNN보다 훨씬 효율적이고 투명한 학습 과정을 제공한다.