[논문 리뷰] Delineation of Skin Strata in Reflectance Confocal Microscopy Images using Recurrent Convolutional Networks with Toeplitz Attention

Alican Bozkurt, Kıvanç Köse외 5명|arXiv (Cornell University)|2017. 12. 01.

AI in cancer detection참고 문헌 6인용 수 6

한 줄 요약

이 논문은 반복형 합성곱 신경망(RCN)에 토플리츠 주목사용(Toeplitz attention)을 도입하여 반사형 공초점 현미경(RCM) 영상 스택에서 피부층(표피, DEJ, 피부병변)을 자동으로 구분한다. 깊이에 영향을 받지 않는 국소화된 주목사용을 통해 해석 가능성과 효율성을 향상시키며, 이미지 수준의 분류 정확도 88.17%를 달성하여 기존 최고 성능(SOTA)을 기록한다. 이는 좁은 지지 구조를 가진 깊이 불변 주목사용을 활용한 결과이다.

ABSTRACT

Reflectance confocal microscopy (RCM) is an effective, non-invasive pre-screening tool for skin cancer diagnosis, but it requires extensive training and experience to assess accurately. There are few quantitative tools available to standardize image acquisition and analysis, and the ones that are available are not interpretable. In this study, we use a recurrent neural network with attention on convolutional network features. We apply it to delineate skin strata in vertically-oriented stacks of transverse RCM image slices in an interpretable manner. We introduce a new attention mechanism called Toeplitz attention, which constrains the attention map to have a Toeplitz structure. Testing our model on an expert labeled dataset of 504 RCM stacks, we achieve 88.17% image-wise classification accuracy, which is the current state-of-art.

연구 동기 및 목표

• 피부암 진단에서 RCM 영상 분석의 표준화를 위한 해석 가능하고 정량적인 도구의 부족을 해결하기 위해.
• 기존의 반복형 합성곱 신경망(RCN)을 개선하기 위해 모델의 해석 가능성을 향상시키는 주목사용 메커니즘을 도입하기 위해.
• 해부학적 제약(일방향성 층 전이)을 고려한 주목사용을 통해 RCM 스택의 순차적 성격을 모델링하기 위해.
• 제한된 지지 구조를 가진 국소화된 주목사용이 전체 시퀀스 모델링 성능을 동등하거나 초월할 수 있는지 조사하기 위해.
• 구조화된 주목사용 메커니즘을 통해 해부학적으로 불가능한 전이(예: 피부병변 → 표피)를 최소화하기 위해.

제안 방법

• 수직으로 쌓인 RCM 슬라이스의 순차적 구조를 활용하여 반복형 합성곱 신경망(RCN)을 사용해 처리한다.
• 새로운 토플리츠 주목사용 메커니즘을 도입하여 주목사용 가중치를 토플리츠 행렬 구조로 제약함으로써 깊이에 영향을 받지 않는 국소화된 주목사용과 좁은 지지 구조를 가능하게 한다.
• 모노톤 정렬 전략을 적용하여 주목사용이 현재 슬라이스 중심이 되고, 크기가 2D+1인 윈도우를 통해 확장되며, D는 수신 영역을 제어한다.
• 특징 표현에 대해 미분 가능한 가중치를 적용하여 소프트 주목사용을 구현함으로써 기울기 기반 최적화와 주목사용 맵 시각화를 가능하게 한다.
• 전체 시퀀스(global attention), 토플리츠 주목사용(D=0에서 D=7까지), 부분 시퀀스 RCN을 비교하여 성능 및 일관성을 평가한다.
• RCN에 주목사용 모듈을 통합하기 전에 특징 추출을 위해 Inception v3를 백본으로 사용한다.

실험 결과

연구 질문

• RQ1 구조화된 주목사용 메커니즘이 정확도를 희생시키지 않고도 RCM 층 분류의 해석 가능성을 향상시킬 수 있는가?
• RQ2 깊이에 영향을 받지 않는 좁은 지지 구조(토플리츠 구조를 통한)를 가진 국소화된 주목사용이 전반적인 주목사용 또는 전체 시퀀스 모델링을 능가하는가?
• RQ3 RCM 스택 분류에서 주목사용의 최적 수신 영역 크기(D)는 무엇이며, 임상적 직관(최소한의 필요 맥락)과 일치하는가?
• RQ4 주목사용 메커니즘이 기존 모델보다 해부학적으로 불가능한 전이(예: 피부병변 → 표피)의 수를 줄일 수 있는가?
• RQ5 디코더에서 입력 피드백이 층 경계 설정의 정확도와 일관성에 어떤 영향을 미치는가?

주요 결과

• D=1을 가진 제안된 토플리츠 주목사용 모델이 88.18%의 최고 이미지 수준 분류 정확도를 기록하여, 전체 시퀀스 RCN(87.97%) 및 부분 시퀀스 RCN(87.52%)를 모두 초월한다.
• 전체 주목사용은 86.47%의 정확도를 기록했지만 해부학적으로 불가능한 전이가 전혀 없었으며, 약간 낮은 정확도에도 불구하고 우수한 일관성을 보였다.
• D=1 설정(3슬라이스 수신 영역)은 정확도와 임상적 타당성 사이의 최적 균형을 이룩했으며, 최소한의 맥락만으로도 높은 성능을 달성할 수 있음을 뒷받침한다.
• D=7 및 D=1의 주목사용 맵은 관련 슬라이스 주변에서 가우시안 유사 집중을 보이며, 희소성 정규화 없이도 생물학적으로 의미 있는 영역을 네트워크가 학습하고 있음을 시사한다.
• D=0의 경우(정체 주목사용)는 전체 시퀀스 RCN과 거의 동일한 성능를 보였으며, 이는 입력 피드백이 정확도를 향상시키지만 일관성에는 기여하지 않는다는 것을 확인한다.
• D=1 모델은 총 5건의 불가능한 전이(표피로의 DEJ→표피 4건, 표피로의 피부병변→표피 1건)만 기록했으며, Inception-v3(68건) 및 Kaur 등(402건)과 같은 기준 모델보다 현저히 적었다.