[논문 리뷰] DCFNet: Deep Neural Network with Decomposed Convolutional Filters

Qiang Qiu, Xiuyuan Cheng외 2명|arXiv (Cornell University)|2018. 02. 12.

Advanced Neural Network Applications참고 문헌 24인용 수 20

한 줄 요약

DCFNet은 사전에 고정된 기저(예: 푸리에-베셀(Fourier-Bessel, FB) 기저)를 사용하여 합성곱 필터를 단절 전개로 분해하는 딥 신경망을 제안한다. 이는 학습 중에 전개 계수만을 학습함으로써 모델 파라미터와 계산량을 크게 감소시키면서도 이미지 분류 및 노이즈 제거 작업에서 높은 정확도를 유지하며, 입력 변형에 대해 이론적으로 안정성 보장을 받는다.

ABSTRACT

Filters in a Convolutional Neural Network (CNN) contain model parameters learned from enormous amounts of data. In this paper, we suggest to decompose convolutional filters in CNN as a truncated expansion with pre-fixed bases, namely the Decomposed Convolutional Filters network (DCFNet), where the expansion coefficients remain learned from data. Such a structure not only reduces the number of trainable parameters and computation, but also imposes filter regularity by bases truncation. Through extensive experiments, we consistently observe that DCFNet maintains accuracy for image classification tasks with a significant reduction of model parameters, particularly with Fourier-Bessel (FB) bases, and even with random bases. Theoretically, we analyze the representation stability of DCFNet with respect to input variations, and prove representation stability under generic assumptions on the expansion coefficients. The analysis is consistent with the empirical observations.

연구 동기 및 목표

• 정의된 기능 기저를 통해 합성곱 필터를 구조화하여 딥 CNN의 모델 복잡도를 감소시키는 것.
• 단절된 기저 전개를 통해 정규화를 적용하여 중복을 줄이고 안정성을 향상시키는 것.
• 학습 가능한 파라미터 수를 크게 줄이면서도 높은 분류 정확도를 유지하는 것.
• 입력 변형에 대한 표현의 강건성에 대해 이론적 분석과 실증적 검증을 수행하는 것.
• DCFNet이 푸리에-베셀, 푸리에, 웨이블릿, 무작위, 주성분 분석(PCA) 기저 등 다양한 기저 유형과 호환되는지 탐색하는 것.

제안 방법

• 각 합성곱 필터를 K개의 사전에 고정된 공간 기저(예: 푸리에-베셀)의 선형 조합으로 표현하며, 계수는 데이터로부터 학습한다.
• 학습된 전개 계수를 구현하기 위해 1×1 합성곱 레이어를 사용하여 표준 필터를 저질서 파arameterization으로 효과적으로 대체한다.
• 저주파 성분을 강조하는 기저(예: FB 기저)를 사용하여 단절 전개를 적용함으로써 고주파 노이즈와 불안정성을 억제한다.
• 기저의 절단을 통해 필터의 구조를 제약함으로써 정규화를 도입하고, 파라미터 수와 중복을 줄인다.
• 확장 계수의 유계성 조건을 가정할 때, 입력 변형에 대한 표현 안정성을 증명하기 위해 이론적 분석을 수행한다.
• CIFAR-10, SVHN, LFW와 같은 표준 벤치마크를 사용하여 이미지 분류 및 노이즈 제거 작업에서 성능을 검증한다.

실험 결과

연구 질문

• RQ1 사전에 고정된 기저를 사용한 합성곱 필터 분해가 분류 정확도를 손상시키지 않고 모델 파라미터를 크게 감소시킬 수 있는가?
• RQ2 푸리에-베셀, 무작위, PCA 등 기저의 선택이 DCFNet의 성능과 안정성에 어떤 영향을 미치는가?
• RQ3 기저 절단을 통한 필터 정규화가 변형이나 노이즈와 같은 입력 변형에 대한 강건성을 얼마나 향상시키는가?
• RQ4 확장 계수에 대한 일반적인 가정 하에 DCFNet 표현의 이론적 안정성을 증명할 수 있는가?
• RQ5 매우 깊은 아키텍처와 대규모 데이터셋을 사용하는 복잡한 작업(예: 얼굴 인식)에서 DCFNet은 어떻게 성능을 발휘하는가?

주요 결과

• 푸리에-베셀(FB) 기저를 사용한 DCFNet은 표준 CNN과 유사하거나 더 높은 분류 정확도를 달성하면서도 파라미터를 최대 67%까지 감소시킨다(예: 얼굴 인식에서 VGG-16 기준 7.01M 대비 21.26M 파라미터).
• LFW 벤치마크에서 FB 기저를 사용한 DCFNet은 원본 CNN의 파라미터의 1/3만으로도 97.32%의 얼굴 인식 정확도를 달성한다(원본 CNN은 97.65% 정확도).
• FB 기반 DCFNet은 고주파 성분에 대한 민감도를 낮춰, 변형에 의해 불안정해지기 쉬운 고주파 성분을 억제함으로써 인식 작업에 있어 일반적으로 불필요한 성분을 제거한다.
• 이론적 분석을 통해 DCF-FB 표현이 입력 변형에 대해 안정적이며, 확장 계수의 유계성 조건 하에 변형의 크기로 제한된 편차를 갖는다는 것을 증명하였다.
• 무작위 기저를 사용한 경우에도 DCFNet은 높은 정확도를 유지함으로써, 이점이 기저의 특성에 기인하는 것이 아니라 분해 구조 자체에 기인함을 시사한다.
• 이미지 노이즈 제거 작업에서 DCF-FB는 표준 CNN과 다른 기저 선택보다 뛰어난 성능을 보이며, 고주파 노이즈에 대한 강건성을 확인하였다.