[논문 리뷰] Rotational 3D Texture Classification Using Group Equivariant CNNs

Vincent Andrearczyk, Adrien Depeursinge|arXiv (Cornell University)|2018. 10. 16.

Medical Image Segmentation Techniques참고 문헌 10인용 수 8

한 줄 요약

이 논문은 의료 영상 패atters를 닮은 합성 3D 텍스처를 분류하기 위해 입체의 회전 대칭군 O(24개의 대칭)에 대해 3D 그룹 등변 합성곱 신경망(G-CNN)을 제안한다. 군 합성곱과 G-풀링을 활용함으로써 90도 각도의 회전에 대해 개선된 내성 확보를 달성하지만, 임의의 회전에 대해서는 어려움을 겪으며, 의료 영상에서의 3D 텍스처 분석을 위한 더 정교한 회전 커버리지의 필요성을 드러낸다.

ABSTRACT

Convolutional Neural Networks (CNNs) traditionally encode translation equivariance via the convolution operation. Generalization to other transformations has recently received attraction to encode the knowledge of the data geometry in group convolution operations. Equivariance to rotation is particularly important for 3D image analysis due to the large diversity of possible pattern orientations. 3D texture is a particularly important cue for the analysis of medical images such as CT and MRI scans as it describes different types of tissues and lesions. In this paper, we evaluate the use of 3D group equivariant CNNs accounting for the simplified group of right-angle rotations to classify 3D synthetic textures from a publicly available dataset. The results validate the importance of rotation equivariance in a controlled setup and yet motivate the use of a finer coverage of orientations in order to obtain equivariance to realistic rotations present in 3D textures.

연구 동기 및 목표

• 의료 영상에서 흔한 회전 변화에 대해 3D 텍스처 분류의 내성 향상에 군 등변 합성곱 신경망(G-CNN)이 기여할 수 있는지 조사하기 위해.
• 제한된 훈련 데이터에서 G-합성곱을 통한 내장된 회전 등변성과 G-풀링을 통한 불변성의 영향을 분류 정확도에 평가하기 위해.
• O군(24개의 오른쪽 각도의 회전)이 실제 3D 텍스처 패턴에 대해 충분한 불변성을 제공하는지, 아니면 더 높은 차수의 회전 대칭성이 필요한지 평가하기 위해.
• 통제된 조건에서의 회전 조건 하에서 표준 3D CNN과 G-CNN을 합성 3D 텍스처 데이터셋에 대해 비교하기 위해.
• 방향성 민감도와 국소적 회전 불변성이 방향 특성이 다른 텍스처 클래스를 구분하는 데 어떻게 기여하는지 분석하기 위해.

제안 방법

• 입체의 오른쪽 각도의 24개의 방향 유지 회전으로 구성된 O군(24개의 대칭)과 반사 포함 O_h군(48개의 대칭)을 기반으로 한 3D 군 등변 합성곱 신경망(G-CNN)을 사용하여 특징 학습에 회전 대칭성을 통합한다.
• 각도 채널 간에 가중치를 공유하는 G-합성곱을 적용하여, 입력의 회전이 특징 맵의 회전과 등변성을 유지하도록 한다.
• 방향 채널에 대해 최댓값 또는 평균 풀링을 적용하여 국소적 또는 전역적 회전 불변성을 달성하며, 특정 네트워크 레이어에서 불변성이 도입된다.
• 텍스처의 방향성과 회전 방향에 대한 제어된 변형이 포함된 공개된 합성 3D 텍스처 데이터셋을 사용해 모델을 훈련시킨다.
• 정상, O-회전, 무작위로 회전된 테스트 세트에서 표준 3D CNN(Z3-CNN)과 O-CNN, O_h-CNN의 성능을 비교한다.
• 혼동 행렬과 클래스별 정확도 분석을 통해 다양한 텍스처 유형에서의 방향성 민감도와 불변성 성능을 평가한다.

실험 결과

연구 질문

• RQ1 G-합성곱을 통한 회전 등변성 도입이 표준 3D CNN에 비해 오른쪽 각도의 회전 조건에서 3D 텍스처 분류 정확도를 향상시키는가?
• RQ2 G-풀링은 어느 정도의 국소적 또는 전역적 회전 불변성을 제공하며, 이는 회전된 텍스처에서의 판별 능력에 어떻게 영향을 미치는가?
• RQ3 O군 등변 모델은 훈련 데이터에 포함되지 않은 임의의 회전에 대해 얼마나 잘 일반화되는가?
• RQ4 방향성 텍스처 클래스는 비방향성 텍스처보다 회전 불변성에 더 의존하는가? 그리고 이는 모델 성능에 어떤 영향을 미치는가?
• RQ5 O군 등변성보다 O_h군(반사 대칭 포함)을 도입하면 회전 불변 텍스처 분류 성능이 향상되는가?

주요 결과

• G-풀링을 적용한 O-CNN는 오른쪽 각도의 회전에 대해 회전 불변성을 확보하며, O-rotate 세트에서 표준 Z3-CNN보다 유의미한 성능 향상을 보였다.
• O-rotate 세트에서 최댓값 G-풀링을 사용한 O-CNN는 높은 정확도를 달성했지만, 평균 G-풀링은 방향 간 특징 평균화로 인해 판별 능력이 저하되었다.
• G-풀링 없이 O-CNN는 불변성이 없으며, O-rotate 세트에서 Z3-CNN와 비슷한 수준의 성능 뿐만 아니라 약간 높은 성능를 보였고, 이는 등변성만으로는 충분하지 않음을 시사한다.
• 무작위로 회전된(rotate) 세트에서는 모든 G-CNN가 O-rotate 세트에 비해 정확도가 크게 떨어졌으며, 이는 임의의 회전에 대한 일반화 능력이 열악함을 나타낸다.
• 방향성 텍스처(예: c10, c11, c12)는 회전 불변성의 영향을 가장 크게 받으며, 비방향성 텍스처(예: c6, c15)는 표준 CNN으로도 충분히 잘 분류된다.
• O_h군은 O군보다 성능 향상이 없었으며, 테스트 세트가 오직 방향 유지 회전만 포함되어 있어 반사 대칭이 불필요하고 모델 용량을 감소시켰다.