[논문 리뷰] Deeply Supervised Rotation Equivariant Network for Lesion Segmentation in Dermoscopy Images

Xiaomeng Li, Lequan Yu외 2명|arXiv (Cornell University)|2018. 07. 08.

Cutaneous Melanoma Detection and Management참고 문헌 13인용 수 11

한 줄 요약

이 논문은 p4m 대칭성을 가진 군-등변성 컨볼루션(G-convolutions)을 활용하여 회전 및 반사 불변성을 인코딩함으로써, 피부 병변 세분화를 위한 깊이 있는 감독을 받는 회전 등변 U-Net을 제안한다. G-업샘플링 및 G-프로젝션 레이어를 도입하고 깊이 있는 감독을 통합함으로써, 동일한 모델 복잡도 하에서 ISIC 2017 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 표준 CNN 및 이전 방법들을 능가한다.

ABSTRACT

Automatic lesion segmentation in dermoscopy images is an essential step for computer-aided diagnosis of melanoma. The dermoscopy images exhibits rotational and reflectional symmetry, however, this geometric property has not been encoded in the state-of-the-art convolutional neural networks based skin lesion segmentation methods. In this paper, we present a deeply supervised rotation equivariant network for skin lesion segmentation by extending the recent group rotation equivariant network~\cite{cohen2016group}. Specifically, we propose the G-upsampling and G-projection operations to adapt the rotation equivariant classification network for our skin lesion segmentation problem. To further increase the performance, we integrate the deep supervision scheme into our proposed rotation equivariant segmentation architecture. The whole framework is equivariant to input transformations, including rotation and reflection, which improves the network efficiency and thus contributes to the segmentation performance. We extensively evaluate our method on the ISIC 2017 skin lesion challenge dataset. The experimental results show that our rotation equivariant networks consistently excel the regular counterparts with the same model complexity under different experimental settings. Our best model achieves 77.23\%(JA) on the test dataset, outperforming the state-of-the-art challenging methods and further demonstrating the effectiveness of our proposed deeply supervised rotation equivariant segmentation network. Our best model also outperforms the state-of-the-art challenging methods, which further demonstrate the effectiveness of our proposed deeply supervised rotation equivariant segmentation network.

연구 동기 및 목표

• 표준 CNN이 피부 내시경 영상에서의 회전 및 반사 대칭성을 다루는 데에 한계가 있음을 해결하기 위해.
• 기하학적 대칭성을 네트워크 아키텍처에 직접 통합함으로써 데이터 증강에 의존도를 줄이고 세분화 성능을 향상시키기 위해.
• p4m 대칭성을 가진 군-등변성 컨볼루션(G-convolutions)을 활용하여 모델의 효율성과 일반화 능력을 향상시키기 위해.
• 깊이 있는 감독을 회전 등변성 세분화 프레임워크에 통합하여 학습 안정성 향상과 성능 향상을 도모하기 위해.
• 최소한의 파라미터 증가로 ISIC 2017 피부 병변 세분화 벤치마크에서 최신 기술 수준의 결과를 달성하기 위해.

제안 방법

• 군-등변성 컨볼루션(CNNs)을 의미 세분화로 확장하기 위해 군 공간 내에서 특징 변환을 위한 G-업샘플링 및 G-프로젝션 레이어를 도입한다.
• p4m 대칭성을 가진 G-컨볼루션을 사용하여 회전 및 반사 등변성을 보장함으로써 변환 과정에서 기하학적 구조를 유지한다.
• 학습 안정성 향상과 특징 학습 향상을 위해 복수의 디코더 단계에서 가중치 손실(0.7, 0.2, 0.1)을 사용한 깊이 있는 감독을 도입한다.
• 공간 해상도와 대칭성을 유지하기 위해 첫 번째 풀링 레이어를 스트라이드 2인 G-컨볼루션 레이어로 교체함으로써 ResNet-34 인코더를 변형한다.
• RGB 피부 내시경 영상에서부터 학습을 시작하기 위해 가중치 감쇠와 코스인 학습률 감쇠를 적용한 확률적 경사 하강법을 사용한다.
• 기준 모델에 대해서만 데이터 증강(90도 회전 및 플립)을 적용하여 공정한 비교를 보장하기 위해 등변성 모델에는 적용하지 않는다.

실험 결과

연구 질문

• RQ1 피부 내시경 영상의 세분화 네트워크에 회전 및 반사 등변성이 효과적으로 인코딩될 수 있는가, 성능 향상에 기여하는가?
• RQ2 깊이 있는 감독을 통합함으로써 회전 등변성 네트워크에서 학습 안정성과 세분화 정확도는 어떻게 향상되는가?
• RQ3 유사한 모델 복잡도 하에서 회전 등변성 U-Net 아키텍처가 표준 CNN 기반 세분화 모델보다 우월한가?
• RQ4 파라미터 수 증가 없이도 제안된 방법이 데이터 증강 기반 접근법보다 더 잘 일반화되는가?
• RQ5 G-업샘플링 및 G-프로젝션과 같은 아키텍처 수정 사항이 기하학적으로 대칭적인 의료 영상에서 세분화 품질에 미치는 영향은 무엇인가?

주요 결과

• 제안된 (RE)-DS-U-ResnetFCN34 모델은 Jaccard 지수(JA) 0.772를 달성하여 최고의 기준 모델(ResnetFCN34*)의 JA 0.7127을 초월하였다.
• 회전 등변성 네트워크는 표준 ResNet-34 기준 모델 대비 JA를 3.27%p 향상시켜 기하학적 인도적 편향의 이점을 입증하였다.
• 등변 아키텍처에 U-Net 스킵 연결을 결합한 깊이 있는 감독 구성 요소는 JA를 추가로 2.27%p 향상시켰다.
• 모델은 Jaccard 지수 0.856과 정확도 0.936을 기록하여 ISIC 2017 테스트 세트에서 모든 최신 기술 수준의 제출 결과를 초월하였다.
• 모델는 높은 특이도(97.2%)를 유지하면서 감도(85.4%)와 양성 예측값을 크게 향상시켜 병변 탐지 능력이 뛰어나다는 것을 보여주었다.
• 절단 분석 결과, 회전 등변성과 깊이 있는 감독의 조합이 가장 높은 성능 향상을 가져왔으며, 구성 요소 간의 상호보완성을 검증하였다.