[논문 리뷰] BARNet: Bilinear Attention Network with Adaptive Receptive Fields for Surgical Instrument Segmentation

Zhen-Liang Ni, Gui‐Bin Bian외 6명|arXiv (Cornell University)|2020. 01. 20.

Medical Imaging and Analysis참고 문헌 17인용 수 5

한 줄 요약

이 논문은 내시경 영상에서 조명 및 크기 변동 문제를 해결하기 위해 적응형 수신장( receptive field)을 갖춘 이차적 주의망(BARNet)을 제안한다. 이중 풀링을 통해 전역적 의미적 의존성을 모델링하고 채널별 주의를 통해 다중 척도 특징을 동적으로 선택함으로써, BARNet은 Cata7에서 97.47%의 평균 IOU, EndoVis 2017에서 64.30%의 평균 IOU를 기록하여 후행 방법들보다 각각 10% 이상 높은 성능을 달성한다.

ABSTRACT

Surgical instrument segmentation is extremely important for computer-assisted surgery. Different from common object segmentation, it is more challenging due to the large illumination and scale variation caused by the special surgical scenes. In this paper, we propose a novel bilinear attention network with adaptive receptive field to solve these two challenges. For the illumination variation, the bilinear attention module can capture second-order statistics to encode global contexts and semantic dependencies between local pixels. With them, semantic features in challenging areas can be inferred from their neighbors and the distinction of various semantics can be boosted. For the scale variation, our adaptive receptive field module aggregates multi-scale features and automatically fuses them with different weights. Specifically, it encodes the semantic relationship between channels to emphasize feature maps with appropriate scales, changing the receptive field of subsequent convolutions. The proposed network achieves the best performance 97.47% mean IOU on Cata7 and comes first place on EndoVis 2017 by 10.10% IOU overtaking second-ranking method.

연구 동기 및 목표

• 내시경 수술 영상에서 발생하는 큰 조명 변동 문제를 해결하여 기구의 색상과 질감이 왜곡되는 것을 방지한다.
• 카메라 이동과 기구 방향 변화로 인한 심한 크기 변동을 극복하여 기구의 형태와 크기 변화를 보완한다.
• 반사 및 그림자 영역에서 의미적 특징 표현을 향상시키기 위해 전역적 맥락 모델링을 통한 개선을 도모한다.
• 다양한 기구 크기에 대응해 유연하게 특징을 선택하고 융합할 수 있는 메커니즘을 개발하여 안정적인 세분화 성능을 확보한다.
• 수술 기구 세분화를 위한 벤치마크 데이터셋에서 최고 성능을 달성한다.

제안 방법

• 이차적 주의 모듈(BAM)은 이차적 풀링을 활용해 국소 픽셀과 전역 맥락 간의 복잡한 의미적 의존성을 포착하는 두 번째 순서 특징 통계를 모델링한다.
• BAM에서 생성된 주의 맵은 공간적으로 적응 가능하여 각 픽셀이 전역 맥락에 주의를 기울일 수 있으며, 저대비 또는 반사 영역에서의 특징 표현을 향상시킨다.
• 적응형 수신장(ARF) 모듈은 채널별 의미적 관계를 학습하여 후속 컨볼루션에 적절한 척도의 특징 맵을 선택한다.
• ARF는 척도 간 다수의 스케일 연결을 통해 다중 척도 특징을 융합함으로써 다양한 기구 크기의 커버리지 가능성을 확보한다.
• 학습된 주의 가중치 기반으로 최적의 척도를 가진 특징 맵을 선택하여 후속 레이어의 효과적 수신장을 동적으로 조정한다.
• BARNet은 BAM과 ARF를 통합된 인코더-디코더 아키텍처에 통합하여 엔드 투 엔드 학습 및 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 조명 변동으로 인해 영향을 받는 영역에서 전역 맥락과 의미적 의존성을 효과적으로 모델링하여 특징 표현을 향상시킬 수 있는가?
• RQ2 큰 크기 변동 상황에서 적응형 다중 척도 특징 융합이 세분화 정확도에 미치는 영향은 어떠한가?
• RQ3 이차적 주의와 적응형 수신장을 통합한 방법이 기존의 주의망과 고정된 수신장과 비교해 어떤가?
• RQ4 제안된 모듈이 극한의 조명 및 크기 변동을 포함한 과도한 도전 과제를 가진 데이터셋에서 세분화 성능 향상에 기여하는가?
• RQ5 BARNet은 다양한 수술 기구와 내시경 영상 환경에 대해 얼마나 일반화 가능한가?

주요 결과

• BARNet은 Cata7 데이터셋에서 97.47%의 평균 IOU를 기록하여 두 번째로 우수한 방법보다 1.85%p 높은 성능을 달성한다.
• EndoVis 2017 벤치마크에서 BARNet은 64.30%의 평균 IOU를 기록하여 두 번째로 높은 성능을 낸 TernausNet 대비 10.10%p 향상된 결과를 보였다.
• 이차적 주의 모듈은 주로 반사 반사에 취약한 기구, 예를 들어 주요 절단 칼(I1), 렌즈 후크(I6), 이중력력프스(I10) 등에서 세분화 정확도 향상에 크게 기여한다.
• BARNet은 EndoVis 2017에서 1위를 차지하여 10개 영상 시퀀스 중 7개에서 최고 성능을 기록했다.
• 시각화 결과는 BARNet이 강한 그림자와 반사 영역에서도 정확하게 기구를 세분화함을 확인한다.
• 절단 실험을 통해 이차적 주의 모듈과 적응형 수신장 모듈이 각각 성능 향상에 기여하며, 둘을 함께 사용할 경우 최적의 성능을 달성함을 입증한다.