[논문 리뷰] Interlaced Sparse Self-Attention for Semantic Segmentation

Lang Huang, Yuhui Yuan외 4명|arXiv (Cornell University)|2019. 07. 29.

Advanced Neural Network Applications참고 문헌 60인용 수 53

한 줄 요약

이 논문은 Interlaced Sparse Self-Attention (IANet)을 도입해 의미론적 분할 및 관련 작업에서 장거리 맥락을 포착하고, Cityscapes, ADE20K, LIP, COCO에서 베이스라인 및 비로컬 방법 대비 일관된 개선을 보여준다.

ABSTRACT

In this paper, we present a so-called interlaced sparse self-attention approach to improve the efficiency of the \emph{self-attention} mechanism for semantic segmentation. The main idea is that we factorize the dense affinity matrix as the product of two sparse affinity matrices. There are two successive attention modules each estimating a sparse affinity matrix. The first attention module is used to estimate the affinities within a subset of positions that have long spatial interval distances and the second attention module is used to estimate the affinities within a subset of positions that have short spatial interval distances. These two attention modules are designed so that each position is able to receive the information from all the other positions. In contrast to the original self-attention module, our approach decreases the computation and memory complexity substantially especially when processing high-resolution feature maps. We empirically verify the effectiveness of our approach on six challenging semantic segmentation benchmarks.

연구 동기 및 목표

• 효과적으로 장거리 맥락 의존성을 모델링하여 의미론적 분할을 촉진하고 개선한다.
• 장거리 및 단거리 컨텍스트 집합화를 교대하는 인터레이스드 어텐션 메커니즘을 제안한다.
• 의미론적 분할, 물체 검출, 인스턴스 분할 과제 전반에 걸친 일반화를 보여준다.
• 기준선, 비로컬 및 관련 어텐션 방법과의 광범위한 분석과 벤치마크를 통해 비교한다.

제안 방법

• 장거리 및 단거리 어텐션 블록을 순차적으로 연결하는 Interlaced Sparse Self-Attention (IANet)을 제안한다.
• 백본 네트워크의 self-attention 블록을 간섭 interlaced attention으로 대체하거나 보강하여 글로벌 맥락을 포착한다.
• 다양한 데이터셋에서 IA를 기준선, NL, RCCA, CGNL과 비교하는 분석을 수행한다.
• 의미론적 분할은 Cityscapes, ADE20K, LIP에서, 감지/인스턴스 분할은 COCO의 Mask-RCNN으로 평가한다.
• ImageNet 사전학습 백본에 dilation convolutions와 보조 손실; poly 학습률 정책과 동기화된 배치 정규화를 사용한다.

실험 결과

연구 질문

• RQ1 인터레이스드 어텐ション이 다층 데이터셋에서 기준선 및 비-local/자체 어텐션 방법 대비 분할 성능을 향상시키는가?
• RQ2 NL, RCCA, CGNL 등 다른 컨텍스트 모델링 접근 방식과 정확도와 효율성 측면에서 인터레이스드 어텐션 비교는 어떠한가?
• RQ3 분할 및 Long-Range vs Short-Range 어텐션의 순서(또는 분할 크기 L)가 성능에 미치는 영향은?
• RQ4 제안된 IA 기법이 COCO의 Mask-RCNN과 같은 객체 검출 및 인스턴스 분할 과제로 일반화될 수 있는가?
• RQ5 다른 작업들(예: CUB-200-2011 분류)에서 다중 IA 블록 추가가 성능에 미치는 영향은?

주요 결과

• 인터레이스드 어텐션은 의미론적 분할 벤치마크에서 기준선 및 비-local 방법 대비 상당한 개선을 제공한다.
• IANet은 Cityscapes, ADE20K, LIP에서 기존 백본을 사용한 이전 방법과 비교해 최첨단 또는 경쟁력 있는 결과를 달성한다.
• 단일 인터레이스드 어텐션 블록 추가로 COCO 객체 탐지 및 인스턴스 분할에서 Mask-RCNN 기준선 대비 일관적인 이득을 얻는다.
• CGNL 및 NL과 비교해 CUB-200-2011에서 Top-1/Top-5 정확도가 더 좋고 Cityscapes 분석에서 RCCA를 능가한다.
• 분할 크기와 어텐션 스테이지 순서는 성능에 영향을 주며, 더 큰 분할과 Long-Range 후 Short-Range 어텐션이 최상의 성능을 보인다.