[논문 리뷰] NASNet: A Neuron Attention Stage-by-Stage Net for Single Image Deraining

Qin Xu, Zhilin Wang|arXiv (Cornell University)|2019. 12. 06.

Image Enhancement Techniques참고 문헌 27인용 수 36

한 줄 요약

NASNet은 경량 Neuron Attention 메커니즘과 단계별 네트워크를 도입하여 단일 영상 복원에 대한 다중 비 rain 모델을 다루고, 일반화 강도와 최상위 성능을 달성합니다.

ABSTRACT

Images captured under complicated rain conditions often suffer from noticeable degradation of visibility. The rain models generally introduce diversity visibility degradation, which includes rain streak, rain drop as well as rain mist. Numerous existing single image deraining methods focus on the only one type rain model, which does not have strong generalization ability. In this paper, we propose a novel end-to-end Neuron Attention Stage-by-Stage Net (NASNet), which can solve all types of rain model tasks efficiently. For one thing, we pay more attention on the Neuron relationship and propose a lightweight Neuron Attention (NA) architectural mechanism. It can adaptively recalibrate neuron-wise feature responses by modelling interdependencies and mutual influence between neurons. Our NA architecture consists of Depthwise Conv and Pointwise Conv, which has slight computation cost and higher performance than SE block by our contrasted experiments. For another, we propose a stage-by-stage unified pattern network architecture, the stage-by-stage strategy guides the later stage by incorporating the useful information in previous stage. We concatenate and fuse stage-level information dynamically by NA module. Extensive experiments demonstrate that our proposed NASNet significantly outperforms the state-of-theart methods by a large margin in terms of both quantitative and qualitative measures on all six public large-scale datasets for three rain model tasks.

연구 동기 및 목표

• 단일 rain 모델에서 학습된 복원 방법의 일반화 부족 해결
• 특징 반응을 재보정하기 위한 경량 뉴런 단위 주의 메커니즘 개발
• 단계를 거치며 useful 정보를 전파하는 단계별 통합 아키텍처 설계
• Neuron Attention 모듈을 사용한 단계 수준 정보의 동적 융합
• 여섯 개의 공개 데이터세트와 세 가지 rain 모델 작업에서 우수한 성능 입증

제안 방법

• Depthwise Conv 및 Pointwise Conv를 사용하여 뉴런 단위 특징을 재보정하는 Neuron Attention(NA) 메커니즘 제안
• 후기에 의해 가이드되는 단계별 통합 패턴 네트워크를 도입
• NA 모듈을 통해 단계 수준 정보를 동적으로 연결하고 융합
• 다중 rain 모델에 걸친 deraining을 위한 엔드투엔드 학습 프레임워크
• 여섯 개의 공개 데이터세트에서 세 가지 rain 모델 작업에 대해 NASNet 평가

실험 결과

연구 질문

• RQ1 다양한 rain 모델에 걸쳐 deraining을 개선할 수 있는 뉴런 중심 주의 메커니즘이 있는가?
• RQ2 단계를 거치며 정보를 전파하는 단계별 아키텍처가 일반화 및 성능을 개선하는가?
• RQ3 NA 모듈은 성능 및 계산 측면에서 기존 주의 블록(SE 등)과 어떻게 비교되는가?
• RQ4 단일 모델에 특화되지 않고 NASNet이 다중 rain 모델 작업과 데이터세트에서 효과적인가?

주요 결과

• NASNet은 세 가지 rain 모델 작업에서 여섯 개의 공개 대형 데이터셋에서 최첨단 방법보다 상당히 우수한 성능을 보임
• 실험에서 Depthwise 및 Pointwise 합성곱을 사용하는 Neuron Attention 메커니즘이 SE 블록보다 더 나은 성능을 달성
• 단계별 설계가 초기 단계에서 후속 단계로 유익한 가이드를 가능하게 함
• NA를 통한 단계 수준 정보의 동적 연결 및 융합이 deraining 결과를 향상
• 광범위한 실험에서 경쟁 방법에 비해 강력한 정량적 및 정성적 개선을 입증