[논문 리뷰] The Importance of Skip Connections in Biomedical Image Segmentation

Michal Drozdzal, Eugene Vorontsov외 3명|arXiv (Cornell University)|2016. 08. 14.

Advanced Neural Network Applications참고 문헌 19인용 수 112

한 줄 요약

논문은 생물의학 영상 분할을 위한 매우 깊은 Fully Convolutional Networks에서 긴 스킵 연결과 짧은 스킵 연결의 영향을 분석하고, 두 유형을 결합하면 학습 속도가 빨라지고 포스트 프로세싱 없이 EM 데이터에 거의 최첨단 성능에 근접하게 된다.

ABSTRACT

In this paper, we study the influence of both long and short skip connections on Fully Convolutional Networks (FCN) for biomedical image segmentation. In standard FCNs, only long skip connections are used to skip features from the contracting path to the expanding path in order to recover spatial information lost during downsampling. We extend FCNs by adding short skip connections, that are similar to the ones introduced in residual networks, in order to build very deep FCNs (of hundreds of layers). A review of the gradient flow confirms that for a very deep FCN it is beneficial to have both long and short skip connections. Finally, we show that a very deep FCN can achieve near-to-state-of-the-art results on the EM dataset without any further post-processing.

연구 동기 및 목표

• 생물의학 영상 분할을 위한 심층 FCN에서 스킵 연결이 학습 역학에 미치는 영향을 조사한다.
• 확장 경로가 있는 잔차 네트워크를 확장하여 분할을 수행한다.
• 수렴 및 성능에 대한 긴 스킵 연결과 짧은 스킵 연결의 상대적 이점을 평가한다.

제안 방법

• 분할을 위한 업샘플링 경로를 갖춘 잔차 네트워크를 완전 컨볼루션 네트워크로 확장한다.
• 잔차 블록 주위에 짧은 스킵 연결을 도입하여 매우 깊은 구조를 가능하게 한다.
• 다양한 블록 유형(병목, 기본, 단순)을 실험하고 이진 교차 엔트로피 및 Dice 손실로 평가한다.
• 데이터 증강을 적용하여 EM ISBI 2012 데이터세트에서 학습하고 아키텍처 간 학습 및 검증 곡선을 분석한다.
• 성능 및 수렴에 미치는 영향을 연구하기 위해 잔차 블록 내 옵션 정규화로 드롭아웃을 사용한다.

실험 결과

연구 질문

• RQ1 생물의학 분할에서 매우 깊은 FCN의 학습 수렴에 짧은 스킵 연결을 추가하는 효과는 무엇인가?
• RQ2 긴 스킵 연결과 짧은 스킵 연결을 함께 사용하면 매우 깊은 네트워크에서 어느 한 유형만 사용하는 것보다 더 우수한가?
• RQ3 매우 깊은 FCN이 EM 데이터에서 포스트 프로세싱 없이 거의 최첨단 분할 성능을 달성할 수 있는가?
• RQ4 다른 손실 함수들(binary cross-entropy vs. Dice loss)이 이 설정에서 스킵 연결과 어떻게 상호 작용하는가?

주요 결과

• 긴 스킵 연결과 짧은 스킵 연결을 모두 갖춘 매우 깊은 FCN은 한 종류의 스킵 연결만 가진 네트워크보다 더 빠르게 수렴하고 더 나은 성능을 달성한다.
• 짧은 스킵 연결은 깊은 네트워크에서 매개변수 업데이트를 안정시키고 소실 경사 문제를 완화한다.
• 스킵 연결이 없는 네트워크는 매우 깊은 깊이에서 학습하는 데 어려움을 겪고, 배치 정규화는 학습 가능성과 깊이를 향상시킨다.
• Dice 손실로 학습된 모델은 이진 교차 엔트로피로 학습된 모델보다 시각적으로 더 깔끔한 분할을 생성했고, 테스트 시 드롭아웃은 암시적 모델 평균화 이점을 제공했다.
• 깊은 FCN은 EM ISBI 2012 데이터세트에서 포스트 프로세싱 없이 거의 최첨단 성능을 달성했다.