[논문 리뷰] Wavelet based edge feature enhancement for convolutional neural networks

D. D. N. De Silva, Subha Fernando외 2명|arXiv (Cornell University)|2018. 08. 29.

Image and Signal Denoising Methods참고 문헌 32인용 수 5

한 줄 요약

이 논문은 컨volution 신경망(CNN)의 입력 이미지에서 에지 특징을 향상시키기 위해 두 가지 웨이블릿 기반 전처리 방법을 제안한다. 첫 번째 방법은 단지 디테일 웨이블릿 계수를 사용하여 이미지를 재구성하는 것이며, 두 번째 방법은 웨이블릿 계수의 국소 모듈러스 최대값을 통해 에지를 탐지하는 것이다. 두 방법 모두 분류 정확도를 크게 향상시키며, 특히 모듈러스 최대값 방법은 AlexNet을 사용하여 CIFAR-10에서 89.63%의 정확도를 달성하여 기준 모델과 이전 연구를 모두 능가한다.

ABSTRACT

Convolutional neural networks are able to perform a hierarchical learning process starting with local features. However, a limited attention is paid to enhancing such elementary level features like edges. We propose and evaluate two wavelet-based edge feature enhancement methods to preprocess the input images to convolutional neural networks. The first method develops feature enhanced representations by decomposing the input images using wavelet transform and limited reconstructing subsequently. The second method develops such feature enhanced inputs to the network using local modulus maxima of wavelet coefficients. For each method, we have developed a new preprocessing layer by implementing each purposed method and have appended to the network architecture. Our empirical evaluations demonstrate that the proposed methods are outperforming the baselines and previously published work with significant accuracy gains.

연구 동기 및 목표

• 특징 학습 이전에 입력 이미지의 저수준 에지 특징을 강화하여 CNN 성능을 향상시키기.
• 계층적 특징 학습에서 중요시되지만 기존 CNN 아키텍처에서 에지 특징 강화에 대한 초점이 제한적인 문제를 다루기.
• 데이터를 네트워크에 입력하기 이전에 에지 표현을 풍부화하는 두 가지 새로운 웨이블릿 기반 전처리 기법을 개발하고 평가하기.
• 다양한 기준 데이터셋에서 에지 강화 입력이 분류 정확도에 측정 가능한 향상을 가져오는지 경험적으로 검증하기.

제안 방법

• 첫 번째 방법은 입력 이미지에 이산 웨이블릿 변환(DWT)을 적용하고, 가장 굵은 근사 계수를 기각한 후 디테일 계수만을 사용하여 이미지를 재구성한다.
• 두 번째 방법은 웨이블릿 계수의 모듈러스를 계산하고 국소 최대값을 식별하여 에지를 탐지하여 정교화된 에지 강화 표현을 형성한다.
• 두 방법 모두 메인 CNN 아키텍처 이전에 삽입되는 전용 전처리 레이어로 구현되어 엔드 투 엔드 학습 능력을 유지한다.
• 두 방법 모두 계산 효율성과 에지 탐지 적합성 면에서 우수한 히어르 웨이블릿을 기본 웨이블릿 변환으로 사용한다.
• 모듈러스 최대값 방법은 웨이블릿 모듈러스 최대값이 기울기 기반 에지 국소화와 연결된 말라트의 다중 척도 에지 탐지 이론에 기반한다.
• 제안된 전처리 레이어는 AlexNet과 같은 표준 CNN 아키텍처에 통합되어 MNIST, SVHN, CIFAR-10에서 평가되었다.

실험 결과

연구 질문

• RQ1 웨이블릿 기반 전처리가 CNN 분류 정확도 향상에 기여할 수 있는 방식으로 에지 특징을 강화할 수 있는가?
• RQ2 표준 이미지 분류 벤치마크에서 다양한 웨이블릿 기반 에지 강화 전략 간의 성능 향상 정도는 어떻게 비교되는가?
• RQ3 웨이블릿 계수의 모듈러스 최대값을 사용하는 것이 단순한 계수 재구성보다 더 나은 에지 표현을 제공하는가?
• RQ4 에지 강화 입력을 통해 깊이가 더 깊거나 더 복잡한 네트워크 아키텍처의 필요성을 어느 정도 줄일 수 있는가?
• RQ5 표준 CNN 파이프라인에 아키텍처 수정 없이 웨이블릿 기반 전처리를 효과적으로 통합할 수 있는가?

주요 결과

• 모듈러스 최대값 에지 강화 방법은 AlexNet을 사용하여 CIFAR-10에서 89.63%의 테스트 정확도를 달성했으며, 기준 AlexNet(87%)과 배치 정규화 변형(89%)을 초월했다.
• 단순한 에지 강화 방법은 CIFAR-10에서 89.47%의 정확도를 기록하여 기준 모델보다 일관되게 향상된 성능을 보였다.
• MNIST에서는 모듈러스 최대값 방법이 99.3%의 정확도를 기록하여 이전의 웨이블릿 네트워크 접근 방식(94.2%)을 능가했고, 최고의 이전 결과(99.21%)에 매우 근접했다.
• SVHN에서는 모듈러스 최대값 방법이 정확도를 94.43%로 향상시켜 기준 AlexNet(93.24%) 대비 1.19% 향상시켰다.
• 전체 데이터셋에서 모듈러스 최대값 방법이 단순 재구성 방법을 항상 앞서는 성능을 보여, 더 풍부한 에지 표현이 가능함을 확인했다.
• 결과는 입력 수준에서 에지 특징을 강화하는 것이 CNN 내 계층적 특징 학습 과정에 상당한 영향을 미친다는 것을 확인시켰다.