[논문 리뷰] Densely connected multidilated convolutional networks for dense prediction tasks

Naoya Takahashi, Yuki Mitsufuji|arXiv (Cornell University)|2020. 11. 21.

Speech and Audio Processing참고 문헌 53인용 수 6

한 줄 요약

이 논문은 밀도 높은 다중해상도 특징 학습과 새로운 다중확대 컨볼루션을 결합한 새로운 CNN 아키텍처인 D3Net을 제안한다. 이는 조밀하고 앨리어싱 없는 수신장 확장을 가능하게 한다. D3Net는 DenseNet의 스킵 커넥션에 다중확대 컨볼루션을 통합하여, 이미지 세그멘테이션(Cityscapes) 및 오디오 소스 분離(MUSDB18) 분야에서 최신 기술 수준의 성능을 달성하며, 파라미터 수가 적은데도 기존 방법을 능가한다.

ABSTRACT

Tasks that involve high-resolution dense prediction require a modeling of both local and global patterns in a large input field. Although the local and global structures often depend on each other and their simultaneous modeling is important, many convolutional neural network (CNN)-based approaches interchange representations in different resolutions only a few times. In this paper, we claim the importance of a dense simultaneous modeling of multiresolution representation and propose a novel CNN architecture called densely connected multidilated DenseNet (D3Net). D3Net involves a novel multidilated convolution that has different dilation factors in a single layer to model different resolutions simultaneously. By combining the multidilated convolution with the DenseNet architecture, D3Net incorporates multiresolution learning with an exponentially growing receptive field in almost all layers, while avoiding the aliasing problem that occurs when we naively incorporate the dilated convolution in DenseNet. Experiments on the image semantic segmentation task using Cityscapes and the audio source separation task using MUSDB18 show that the proposed method has superior performance over state-of-the-art methods.

연구 동기 및 목표

• 기존 CNN에서 조밀한 예측 작업을 위한 희박한 다중해상도 특징 교환의 한계를 해결하기 위해.
• 단일 네트워크 아키텍처 내에서 다중 해상도에서 국소적이고 전역적인 맥락을 동시에 조밀하게 모델링할 수 있도록 하기 위해.
• DenseNet에 간단히 확대 컨볼루션을 적용할 경우 발생하는 앨리어싱 문제를 해결하기 위해 새로운 다중확대 컨볼루션 레이어를 도입하기 위해.
• 향상된 특징 재사용과 확장된 수신장을 통해 고해상도 조밀한 예측 작업(예: 세그멘테이션 및 오디오 소스 분리)의 성능을 향상시키기 위해.

제안 방법

• 한 개의 컨볼루션 레이어 내에서 다중 확대 요소를 적용하는 새로운 다중확대 컨볼루션 레이어를 제안하며, 확대 요소는 스킵 커넥션의 원천에 의해 결정된다.
• DenseNet 스타일 아키텍처에 다중확대 컨볼루션을 통합하여, 모든 레이어를 통해 조밀한 특징 흐름을 가능하게 하면서도 다중해상도 표현을 유지한다.
• 각 해상도에 대해 충분한 깊이를 확보하기 위해, 확대 요소를 반복하는 다중확대 밀도 블록(D2 블록)의 중첩 아키텍처를 설계한다.
• 공간 해상도와 맥락을 유지하기 위해, 전치 컨볼루션과 스킵 커넥션을 사용하여 특징을 업샘플링하고 연결한다.
• 학습 안정성과 기울기 흐름 향상을 위해 각 컨볼루션 레이어 후에 배치 정규화와 ReLU 활성화 함수를 적용한다.
• 최종 레이어에서 차원 감소 및 최종 분류 또는 회귀를 위해 평균 풀링과 전역 평균 풀링을 적용한다.

실험 결과

연구 질문

• RQ1 조밀하고 다중해상도 특징 학습은 세그멘테이션 및 오디오 소스 분리와 같은 조밀한 예측 작업에서 성능 향상에 기여하는가?
• RQ2 앨리어싱 아티팩트를 유발하지 않으면서 확대 컨볼루션을 Densenet 아키텍처에 효과적으로 통합할 수 있는가?
• RQ3 다른 해상도 표현 간의 빈번하고 조밀한 정보 교환은 모델 성능에 어떤 영향을 미치는가?
• RQ4 제안된 다중확대 컨볼루션 레이어가 특징 품질과 작업 정확도 측면에서 표준 확대 또는 표준 컨볼루션 레이어를 능가하는가?

주요 결과

• D3Net는 MUSDB18 오디오 소스 분리 벤치마크에서 중앙값 SDR 6.01 dB를 기록하여, 이전 최고 기술 수준의 모든 방법을 능가했다.
• Cityscapes 세그멘테이션 데이터셋에서 경쟁적 백본보다 훨씬 적은 파라미터로 최신 기술 수준의 성능을 달성했다.
• 다중확대 컨볼루션을 표준 확대 컨볼루션으로 대체한 결과, 비확대 모델보다 성능 향상이 있었지만, 여전히 제안된 방법이 뛰어나, 앨리어징 인식 설계의 유용성을 확인했다.
• 제거 실험 결과, 다중확대 컨볼루션은 표준 확대 컨볼루션보다 뚜렷이 뛰어난 성능을 보였으며, Densenet 기반 아키텍처에서 앨리어징 문제를 해결하는 것이 중요하다는 점을 입증했다.
• D2 블록의 중첩 아키텍처는 모든 해상도에서 효과적인 파라미터 효율성과 충분한 표현 능력을 제공했다.
• 모델은 도메인 간 일반화 능력이 뛰어나, 아키텍처 수정 없이도 시각 및 오디오 작업 모두에서 최고 성능을 기록했다.