[논문 리뷰] Sample Efficient Semantic Segmentation using Rotation Equivariant Convolutional Networks

Jasper Linmans, Jim Winkens외 3명|arXiv (Cornell University)|2018. 07. 02.

AI in cancer detection참고 문헌 9인용 수 16

한 줄 요약

이 논문은 의료 영상에서 샘플 효율적인 세분화를 위한 회전 및 반사 등변 U-Net을 제안한다. G→Z² 및 역행 G-컨볼루션을 통해 군 등변 컨볼루션을 세분화에 확장함으로써, 모델은 뛰어난 샘플 효율성과 강건성을 확보하며, 전체 데이터의 12.5%만으로 훈련되었을 때 표준 U-Net보다 7.2% 높은 Dice 스코어를 기록한다.

ABSTRACT

We propose a semantic segmentation model that exploits rotation and reflection symmetries. We demonstrate significant gains in sample efficiency due to increased weight sharing, as well as improvements in robustness to symmetry transformations. The group equivariant CNN framework is extended for segmentation by introducing a new equivariant (G->Z2)-convolution that transforms feature maps on a group to planar feature maps. Also, equivariant transposed convolution is formulated for up-sampling in an encoder-decoder network. To demonstrate improvements in sample efficiency we evaluate on multiple data regimes of a rotation-equivariant segmentation task: cancer metastases detection in histopathology images. We further show the effectiveness of exploiting more symmetries by varying the size of the group.

연구 동기 및 목표

• 특히 조직병리학에서의 제한된 픽셀 수준의 주석이 문제인 의료 영상 세분화에 도전한다.
• 회전 및 반사 대칭성을 명시적으로 인코딩하여 세분화의 샘플 효율성을 향상시킨다.
• 전체 슬라이드 영상에서 흔한 입력의 회전 및 반사에 대해 모델의 강건성을 향상시킨다.
• 군 등변 네트워크가 자료 부족 조건에서 예측 분산을 줄이고 일반화 성능을 향상시킨다는 것을 입증한다.
• 군 크기 증가(예: p4 vs. p4m)가 세분화 성능과 일반화에 미치는 영향을 조사한다.

제안 방법

• p4m 군에서 유래한 군 구조의 특징 맵을 표준 평면 특징 맵으로 매핑하는 새로운 G→Z² 컨볼루션을 도입하여 세분화 출력을 위해 사용한다.
• 디코더 경로에서 업샘플링을 위한 등변성과 일치하는 역행 G-컨볼루션을 제안한다.
• 특징 학습에서 대칭성을 강제하기 위해 p4m 군(0°, 90°, 180°, 270° 회전 및 반사)을 사용한다.
• Cohen & Welling(2016)의 G-CNN 프레임워크를 이용해 픽셀 단위 예측을 위한 인코더-디코더 U-Net 아키텍처에 적용한다.
• 파라미터 수 증가를 보상하기 위해 필터 수를 √|G|로 나누어 파라미터 효율성을 유지한다.
• 표준 Adam 최적화와 조기 정지로 훈련하며, 기준 비교를 위해 데이터 증강만 사용한다.

실험 결과

연구 질문

• RQ1 군 등변 컨볼루션은 조직병리학 영상 세분화에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 제안된 G-CNN 기반 U-Net은 표준 U-Net과 비교해 제한된 훈련 데이터 조건에서 어떻게 성능을 내는가?
• RQ3 p4m 군을 통한 반사 대칭성 통합이 p4 군의 순수 회전 대칭성보다 더 나은 일반화를 이끌어내는가?
• RQ4 표준 CNN과 비교해, 모델이 회전-반사 변환 하에서 예측 분산을 얼마나 줄이는가?
• RQ5 테스트 시간 증강 없이도, 모델은 회전되거나 반사된 입력에 대해 강건성과 높은 성능을 유지할 수 있는가?

주요 결과

• P4M U-Net은 전체 Camelyon16 데이터셋에서 83.7%의 Dice 스코어를 기록하며, 표준 U-Net(79.8%)보다 3.9% 높은 성능을 보였다.
• 훈련 데이터의 12.5%만으로도 P4M U-Net은 79.6%의 Dice 스코어를 기록했고, 이는 전체 데이터로 훈련된 표준 U-Net의 74.2%를 초월했다.
• 데이터 부족 조건에서 P4M U-Net과 표준 U-Net 간의 성능 격차가 커지며, 12.5% 데이터에서 7.2%의 개선을 기록했다.
• P4M U-Net은 회전-반사 변환 하에서 예측 분산이 크게 낮아졌으며, 표준편차 값은 수치 오차 수준으로 구분되지 않았다.
• 반사 대칭을 포함한 p4m 군은 83.7%의 Dice 스코어를 기록했고, 순수 회전만을 고려한 p4 군은 82.5%를 기록하여 더 많은 대칭성이 일반화 성능 향상에 기여함을 확인했다.
• 표준 U-Net은 특히 희귀 패턴인 종양 경계에 대해 회전 및 반사 조건에서 예측이 불안정했고, 군 등변 아키텍처에 의해 안정화되었다.