[논문 리뷰] Operational vs Convolutional Neural Networks for Image Denoising

Junaid Malik, Serkan Kıranyaz외 1명|arXiv (Cornell University)|2020. 09. 01.

Image and Signal Denoising Methods참고 문헌 22인용 수 6

한 줄 요약

이 논문은 수용성 영역 수준에서 표준 컨볼루션 레이어를 적응형 비선형 연산자로 대체하는 이질적 신경망 아키텍처인 운영 신경망(ONNs)을 제안한다. 이는 우수한 이미지 노이즈 제거 성능을 가능하게 한다. 히브시안 학습에 영감을 받은 데이터 기반의 시냅스 가소성 모니터링(SPM) 전략을 사용하여, 동등한 CNN보다 훨씬 뛰어난 성능을 달성한다—학습 단계를 약 80% 감소시키고, 특히 고노이즈 및 제한된 데이터 조건에서 일반화 성능이 뛰어나다.

ABSTRACT

Convolutional Neural Networks (CNNs) have recently become a favored technique for image denoising due to its adaptive learning ability, especially with a deep configuration. However, their efficacy is inherently limited owing to their homogenous network formation with the unique use of linear convolution. In this study, we propose a heterogeneous network model which allows greater flexibility for embedding additional non-linearity at the core of the data transformation. To this end, we propose the idea of an operational neuron or Operational Neural Networks (ONN), which enables a flexible non-linear and heterogeneous configuration employing both inter and intra-layer neuronal diversity. Furthermore, we propose a robust operator search strategy inspired by the Hebbian theory, called the Synaptic Plasticity Monitoring (SPM) which can make data-driven choices for non-linearities in any architecture. An extensive set of comparative evaluations of ONNs and CNNs over two severe image denoising problems yield conclusive evidence that ONNs enriched by non-linear operators can achieve a superior denoising performance against CNNs with both equivalent and well-known deep configurations.

연구 동기 및 목표

• 이미지 노이즈 제거에 있어 동종적이고 선형적인 컨볼루션 레이어의 한계를 해결한다. 특히 고노이즈 환경에서의 일반화 성능 열악함과 성능 포화 현상에 초점을 맞춘다.
• 고정된 비선형 활성화 함수에 의존하는 것을 해결하기 위해, 개별 수용성 영역 수준에서 유연하고 비선형적인 변환을 도입한다.
• 특정 노이즈 유형에 맞게 최적의 비선형 연산자를 선택하는 아키텍처에 관계없는 데이터 기반 방법을 개발하여 수동 하이퍼파ram터 튜닝을 줄인다.
• 이질적이고 비선형 뉴런 구성(ONNs)이 깊고 동종적인 CNN보다 훨씬 적은 파라미터와 학습 단계로도 뛰어난 노이즈 제거 성능을 달성할 수 있음을 입증한다.

제안 방법

• 각 뉴런이 고정된 선형 컨볼루션 대신 수용성 영역에 대해 학습 가능한 비선형 연산자(예: 중앙값, 로그, 평균)를 적용하는 운영 신경망(ONNs)을 도입한다.
• 히브시안 학습 원리에 기반한 시냅스 가소성 모니터링(SPM) 메커니즘을 설계하여, 특정 노이즈 유형에 가장 효과적인 비선형 연산자를 자동으로 식별하고 선택한다.
• SPM을 빠르고 견고하며 아키텍처에 관계없는 검색 전략으로 구현하여, 학습 중 시냅스 가중치 변화를 동적으로 모니터링함으로써 연산자의 효능을 평가한다.
• 제한된 데이터와 고노이즈 조건에서 동일한 혹독한 제약 조건을 가진 ONNs와 동등한 CNN을 학습시켜 일반화 성능 및 수렴 속도를 공정하게 비교한다.
• 노이즈 제거 성능 평가를 위해 주로 PSNR를 사용하며, 스펙클 노이즈 및 임펄스 노이즈 데이터셋에 적용한다.
• 여러 노이즈 수준과 이미지 세트에서 동등한 얕은 CNN과 최신 기술의 깊은 CNN([27])과 ONNs를 비교한다.

실험 결과

연구 질문

• RQ1 제한된 학습 데이터 조건에서, 수용성 영역 수준의 비선형 연산자를 갖는 이질적 신경망 아키텍처가 표준 CNN보다 이미지 노이즈 제거 성능에서 뛰어나게 되는가?
• RQ2 데이터 기반의 히브시안 학습에 영감을 받은 연산자 검색 전략(SPM)이 수동 튜닝 없이 노이즈 특화 비선형 변환을 효과적으로 식별하는가?
• RQ3 고노이즈 환경에서 동등한 CNN과 깊은 CNN에 비해 ONNs는 학습 단계를 얼마나 줄이고 일반화 성능을 얼마나 향상시키는가?
• RQ4 성능 당 학습 가능한 파라미터 수로 측정했을 때, ONNs의 표현력은 CNN에 비해 어떻게 증가하는가?
• RQ5 최소한의 데이터로 학습된 ONNs가 동일한 노이즈 모델을 가진 새로운 이미지에 대해 CNN보다 더 잘 일반화되는가?

주요 결과

• ONNs는 스펙클 노이즈 및 임펄스 노이즈 작업에서 동등한 CNN보다 평균 PSNR 성능을 2.52%에서 13.33% 향상시켰으며, 특히 임펄스 노이즈에서 최고 성능 향상(13.33%)을 기록했다.
• 깊은 CNN([27])보다 스펙클 노이즈에서 M=1일 때 4.35%, M=5일 때 13.36% 높은 성능을 기록했으며, ONNs는 약 9,000개의 파라미터로, 깊은 CNN의 0.5백만 개 이상의 파라미터보다 훨씬 적은 수로도 성능을 냈다.
• 동등한 CNN에 비해 동일한 PSNR 수준에 도달하기 위해 약 80%의 학습 단계를 줄였으며, 이는 수렴 속도가 훨씬 빠르다는 것을 의미한다.
• 깊은 CNN의 성능은 깊이가 더 깊고 복잡해지면서 뿐만 아니라 1.36배로 증가했으며, 이는 성능 포화를 시사한다. 반면 ONNs는 이와 같은 포화 현상이 없었고, 층 간 및 층 내 이질성 덕분에 더 나은 스케일링 성능를 보였다.
• SPM은 문제에 특화된 비선형 연산자를 성공적으로 식별했다: 임펄스 노이즈에는 중앙값 필터, 스펙클 노이즈에는 로그 연산을 사용하여, 데이터 기반의 적응형 성격을 검증했다.
• ONNs는 과적합에 강한 저항성을 보였으며, 모든 설정에서 더 높은 테스트 PSNR를 기록하여, 최소한의 데이터로부터 풍부하고 일반화 가능한 표현을 효과적으로 학습할 수 있음을 확인했다.