[논문 리뷰] Autofocus Layer for Semantic Segmentation

Yao Qin, Konstantinos Kamnitsas외 5명|arXiv (Cornell University)|2018. 05. 22.

Medical Image Segmentation Techniques참고 문헌 13인용 수 17

한 줄 요약

이 논문은 학습 가능한 주의 메커니즘을 사용하여 병렬로 확장된 컨볼루션을 통해 컨volutional 네트워크(CNN)의 효과적 영향 범위를 적응적으로 조정하는 새로운 모듈인 자동 초점 컨볼루션 레이어를 소개한다. 이 방법은 최소한의 파rameter 증가로 다중 척도 특징 학습을 향상시켜, 골반 CT 및 뇌 MRI 분할 작업에서 최신 기술 수준의 성능을 달성하며, 각 공간 위치에서 가장 관련성이 높은 맥락에 동적으로 집중한다.

ABSTRACT

We propose the autofocus convolutional layer for semantic segmentation with the objective of enhancing the capabilities of neural networks for multi-scale processing. Autofocus layers adaptively change the size of the effective receptive field based on the processed context to generate more powerful features. This is achieved by parallelising multiple convolutional layers with different dilation rates, combined by an attention mechanism that learns to focus on the optimal scales driven by context. By sharing the weights of the parallel convolutions we make the network scale-invariant, with only a modest increase in the number of parameters. The proposed autofocus layer can be easily integrated into existing networks to improve a model's representational power. We evaluate our models on the challenging tasks of multi-organ segmentation in pelvic CT and brain tumor segmentation in MRI and achieve very promising performance.

연구 동기 및 목표

• 의료 영상의 의미 분할에서 효과적인 다중 척도 맥락 학습 문제를 해결하기 위해.
• 모델 복잡도를 크게 증가시키지 않으면서 딥 네트워크의 특징 표현을 향상시키기 위해.
• 주의 맵을 통해 척도 선택 과정을 명시적으로 만들어 모델의 해석 가능성성을 향상시키기 위해.
• 기존 아키텍처에 최소한의 아키텍처 변경으로 쉽게 통합할 수 있도록 하기 위해.
• 경량이고 확장 가능한 모듈을 사용하여 도전적인 의료 영상 분할 벤치마크에서 경쟁적인 성능을 달성하기 위해.

제안 방법

• 자기 초점 레이어는 서로 다른 확장률을 가진 병렬 확장 컨볼루션을 사용하여 다중 척도 맥락을 캡처한다.
• 주의 메커니즘이 각 척도에 대한 동적 가중치를 계산하여, 네트워크가 각 공간 위치에서 가장 관련성이 높은 맥락에 집중할 수 있도록 한다.
• 확장 컨볼루션 간에 공유된 가중치를 통해 척도 불변성과 파rameter 수를 줄인다.
• 출력은 입력 맥락에 기반하여 학습된 가중치를 사용해 모든 척도의 특징의 가중합이다.
• 이 모듈은 플러그인 레이어로 설계되어 기존 네트워크에서 표준 컨볼루션으로 쉽게 교체할 수 있다.
• 이 방법은 인간 시각 주의를 모방하며, 중심시각(집중)과 주변시각(넓은 범위)을 모방한다.

실험 결과

연구 질문

• RQ1 학습 가능한 적응 메커니즘이 의미 분할 네트워크에서 다중 척도 특징 학습을 향상시킬 수 있는가?
• RQ2 주의를 통한 동적 척도 선택이 고정 또는 평균화된 다중 척도 융합보다 더 나은 성능을 내는가?
• RQ3 제안된 모듈은 기존 아키텍처에 최소한의 아키텍처 변경과 파rameter 오버헤드로 통합될 수 있는가?
• RQ4 자기 초점 레이어는 생물학적 변동성이 높은 다양한 의료 영상 작업에서 어떻게 성능을 발휘하는가?
• RQ5 주의 메커니즘이 분할 작업에서 모델의 해석 가능성성을 얼마나 향상시키는가?

주요 결과

• 자기 초점 레이어는 골반 CT 및 뇌 종양 분할 작업에서 표준 ASPP 모듈을 모두 초월하여 대부분의 구조에서 더 높은 Dice 점수를 기록했다.
• Afn-6는 BRATS’15 테스트 세트에서 전 종양 Dice 점수 84%를 기록하여 반자동 방법을 초월하고 최상위 앙상블 기반 모델과 동등한 성능을 보였다.
• Afn-6 모델은 코어 영역 Dice 점수 69%를 기록하여 베이스라인 및 대부분의 아블레이션 변형을 뛰어넘었으며, 다층 적응의 이점을 입증했다.
• 모델의 파rameter 수 증가가 미미하여 강력한 성능을 달성했으며, Afn-1 모델은 349,904개의 학습 가능한 파rameter를 가지며, 베이스라인의 315,725개보다 약간 높았다.
• 아블레이션 연구에서 더 많은 레이어를 자기 초점으로 전환할수록 성능 향상이 지속적으로 관찰되었으며, Afn-6가 두 데이터셋 모두에서 최고 성능을 기록했다.
• 주의 맵은 네트워크가 맥락에 따라 '확대' 또는 '축소'하여 적응적으로 작동함을 보여주어 모델의 해석 가능성성을 향상시켰다.