[논문 리뷰] Towards Deep and Efficient: A Deep Siamese Self-Attention Fully Efficient Convolutional Network for Change Detection in VHR Images

Hongruixuan Chen, Chen Wu외 1명|arXiv (Cornell University)|2021. 08. 18.

Remote-Sensing Image Classification참고 문헌 53인용 수 6

한 줄 요약

이 논문은 매우 고해상도(VHR) 위성 영상에서의 변화 탐지에 적합한 깊이 있고 효율적인 완전 컨volution 신경망인 EffCDNet을 제안한다. 표준 컨볼루션을 효율적 컨볼루션 모듈로 대체하고 경량의 순환 크로스크로스 자기주의 디코더를 적용함으로써, 모델은 벤치마크 수준의 파라미터 수와 훨씬 낮은 계산 비용으로 최신 기술 수준의 정확도를 달성한다. 또한 두 가지 새로운 정보 엔트로피 기반 손실 함수는 모호한 픽셀에서의 성능을 더욱 향상시킨다.

ABSTRACT

Recently, FCNs have attracted widespread attention in the CD field. In pursuit of better CD performance, it has become a tendency to design deeper and more complicated FCNs, which inevitably brings about huge numbers of parameters and an unbearable computational burden. With the goal of designing a quite deep architecture to obtain more precise CD results while simultaneously decreasing parameter numbers to improve efficiency, in this work, we present a very deep and efficient CD network, entitled EffCDNet. In EffCDNet, to reduce the numerous parameters associated with deep architecture, an efficient convolution consisting of depth-wise convolution and group convolution with a channel shuffle mechanism is introduced to replace standard convolutional layers. In terms of the specific network architecture, EffCDNet does not use mainstream UNet-like architecture, but rather adopts the architecture with a very deep encoder and a lightweight decoder. In the very deep encoder, two very deep siamese streams stacked by efficient convolution first extract two highly representative and informative feature maps from input image-pairs. Subsequently, an efficient ASPP module is designed to capture multi-scale change information. In the lightweight decoder, a recurrent criss-cross self-attention (RCCA) module is applied to efficiently utilize non-local similar feature representations to enhance discriminability for each pixel, thus effectively separating the changed and unchanged regions. Moreover, to tackle the optimization problem in confused pixels, two novel loss functions based on information entropy are presented. On two challenging CD datasets, our approach outperforms other SOTA FCN-based methods, with only benchmark-level parameter numbers and quite low computational overhead.

연구 동기 및 목표

• 매우 고해상도(VHR) 영상에서의 변화 탐지에서 모델의 깊이와 계산 효율성 간의 상충 관계를 해결하기 위해.
• 성능을 저하시키지 않은 채 깊이 있는 완전 컨볼루션 네트워크(FCNs)의 파라미터 수와 계산 비용을 줄이기 위해.
• 정보 엔트로피 기반 손실 함수를 통해 모호하거나 혼동되는 픽셀의 탐지 성능을 향상시키기 위해.
• 강력한 특징 표현과 효율성을 동시에 확보하기 위해 매우 깊은 인코더와 경량 디코더를 갖춘 네트워크 아키텍처를 설계하기 위해.
• 낮은 모델 복잡성으로 도전적인 개방형 데이터셋에서 뛰어난 성능을 입증하기 위해.

제안 방법

• EffCDNet은 깊이 분할, 그룹, 채널 셔플링 연산을 조합한 효율적 컨볼루션 모듈로 표준 컨볼루션 레이어를 대체하여 파라미터 수를 감소시킨다.
• 네트워크는 다중 시점 영상 쌍으로부터 계층적 특징을 추출하기 위해 두 개의 깊고 동일한 스트림을 갖춘 시앙식 인코더를 사용한다.
• 깊은 특징 맵에 대해 뺄셈 연산을 적용하여 변화 정보가 풍부한 차이 맵을 생성한다.
• 효율적 컨볼루션을 사용한 확장된 컨볼루션을 활용한 효율적 아트로스 스페이셜 피ラ미드 풀링(EASPP) 모듈이 다중 척도 변화 특징을 캡처한다.
• 경량 디코더는 순환 크로스크로스 자기주의(RCCA) 모듈을 활용하여 장거리 의존성을 효율적으로 모델링함으로써 특징의 구분 능력을 향상시킨다.
• 두 가지 새로운 정보 엔트로피 기반 손실 함수(IEL1 및 IEW)를 도입하여 학습 중에 불확실하거나 혼동되는 픽셀의 최적화를 향상시킨다.

실험 결과

연구 질문

• RQ1 매우 깊은 완전 컨볼루션 네트워크를 성능을 유지하면서도 계산 효율적으로 만들 수 있는가?
• RQ2 깊이 있는 FCNs의 파라미터 수와 FLOPs를 유지 또는 향상된 정확도를 확보하면서 줄일 수 있는가?
• RQ3 효율적 컨볼루션과 경량 디코더를 갖춘 시앙식 인코더가 기존의 UNet 유사 아키텍처보다 더 뛰어난 성능을 낼 수 있는가?
• RQ4 정보 엔트로피 기반 손실 함수는 변화 탐지에서 모호하거나 혼동되는 픽셀의 최적화를 향상시킬 수 있는가?
• RQ5 제안된 RCCA 모듈은 기존 자기주의보다 특징의 구분 능력을 더 효율적으로 향상시킬 수 있는가?

주요 결과

• EffCDNet는 116층의 깊이를 가지며 대부분의 기존 방법보다 훨씬 깊지만, 벤치마크 모델과 비슷한 약간의 파라미터 수를 유지한다.
• SVCD 및 BCD 데이터셋에서 EffCDNet은 정확도와 시각적 품질 모두에서 모든 최신 기술 기반 FCN 기반 방법을 능가한다.
• IEL1 손실로 훈련했을 때 BCD 데이터셋에서 평균 F1 스코어 80.41%를 기록하여 교차 엔트로피 손실 성능을 초월한다.
• 정보 엔트로피 기반 손실 함수는 더 높은 클래스 내 균일성과 더 나은 경계 정렬을 보이는 엔트로피 맵을 생성하여 불확실한 픽셀의 최적화가 향상되었음을 시사한다.
• RCCA 모듈은 표준 자기주의보다 특징의 구분 능력을 더 효율적으로 향상시켜 낮은 계산 비용으로도 변화 탐지 성능 향상을 기여한다.
• 제안된 엔트로피 기반 손실 함수는 EffCDNet 뿐 아니라 FC-EF 및 IFN 등의 다른 모델에서도 성능 향상을 이끌어내어 광범위한 적용 가능성을 보여준다.