[논문 리뷰] Hierarchical Multi-Scale Attention for Semantic Segmentation

Andrew Tao, Karan Sapra외 1명|arXiv (Cornell University)|2020. 05. 21.

Advanced Neural Network Applications참고 문헌 42인용 수 346

한 줄 요약

논문은 다중 스케일 시맨틱 세그멘테이션 예측을 결합하기 위한 계층적 다중 스케일 주의 메커니즘을 도입하여 정확도를 개선하고 추론 시 메모리 효율성과 유연성을 확보한다; Cityscapes와 Mapillary Vistas에서 최첨단 결과를 달성하고 Cityscapes에 대해 하드 자동 라벨링을 활용한다.

ABSTRACT

Multi-scale inference is commonly used to improve the results of semantic segmentation. Multiple images scales are passed through a network and then the results are combined with averaging or max pooling. In this work, we present an attention-based approach to combining multi-scale predictions. We show that predictions at certain scales are better at resolving particular failures modes, and that the network learns to favor those scales for such cases in order to generate better predictions. Our attention mechanism is hierarchical, which enables it to be roughly 4x more memory efficient to train than other recent approaches. In addition to enabling faster training, this allows us to train with larger crop sizes which leads to greater model accuracy. We demonstrate the result of our method on two datasets: Cityscapes and Mapillary Vistas. For Cityscapes, which has a large number of weakly labelled images, we also leverage auto-labelling to improve generalization. Using our approach we achieve a new state-of-the-art results in both Mapillary (61.1 IOU val) and Cityscapes (85.1 IOU test).

연구 동기 및 목표

• 다중 스케일에서 시맨틱 세그멘테이션의 디테일과 글로벌 컨텍스트 간의 트레이드오프를 이해하고 해결한다.
• 픽셀 단위로 인접 스케일의 가중치를 학습하는 메모리 효율적인 주의 메커니즘을 개발한다.
• 재학습 없이 가변 스케일로 유연한 추론을 가능하게 한다.
• Cityscapes의 거친(coarse) 이미지에 대한 자동 라벨링으로 일반화를 향상시킨다.
• Cityscapes와 Mapillary Vistas에서 최첨단 성능을 시연한다.

제안 방법

• 계층적 주의 메커니즘을 도입하여 전체 스케일별 주의 마스크가 아닌 인접 스케일 간 상대 주의를 예측한다.
• 인접 스케일 쌍으로 학습(r=1.0 및 r=0.5 등)하고 추론 시 주의 체인을 통해 N 스케일을 결합한다.
• 공유 네트워크 트렁크와 별도 시맨틱 및 주의 헤드를 두고, 픽셀 단위 곱셈과 덧셈을 통해 주의 마스크를 적용하여 다중 스케일 예측을 융합한다.
• 도시 스케이프 Cityscapes 이미지에 대한 하드 자동 라벨링을 채택하여 일반화를 향상시키기 위한 밀집하고 효율적인 라벨을 생성한다.
• DelOp DeepLab V3+ 스타일 백본(ResNet-50 또는 HRNet-OCR)을 사용하고 무작위 스케일 증강과 클래스 균형 샘플링으로 학습한다.
• Cityscapes 및 Mapillary Vistas에서 평가하여 평균화와 명시적 주의 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 계층적 인접 스케일 주의가 전체 다중 스케일 주의 마스크를 효과적으로 대체하면서 세그멘테이션 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 학습 스케일을 넘어선 보지 못한 스케일에서의 유연한 추론을 가능하게 하면 재학습 없이 성능이 향상되는가?
• RQ3 Cityscapes 일반화 및 IoU 점수에 미치는 하드 자동 라벨링의 영향은 무엇인가?
• RQ4 계층적 주의의 메모리 및 학습 효율이 명시적 다중 스케일 주의 방법과 비교해 어떤가?
• RQ5 MS 주의와 자동 라벨링의 결합으로 Cityscapes와 Mapillary Vistas에서 성능 향상이 얼마나 나타나는가?

주요 결과

• 계층적 다중 스케일 주의는 Mapillary(51.6) 및 Cityscapes(85.1 테스트) 데이터셋에서 단일 스케일 및 평균 풀링 기반 베이스라인보다 더 높은 IoU를 달성한다.
• 0.25x 스케일을 계층적 주의에 추가하면 Mapillary IoU가 0.6 증가하고 Cityscapes는 재학습 없이 더 미세한 디테일을 가능하게 한다.
• 계층적 방법은 메모리 효율성이 높아 단일 스케일에 비해 학습 FLOPs가 1.25배 필요하고, 추가 스케일에 대해 유연한 추론을 지원한다.
• Cityscapes의 거친(coarse) 이미지에 대한 하드 자동 라벨링은 벤치마크 대비 Cityscapes IoU를 약 1.1포인트 올리며, 계층적 주의와의 결합 시 총 이점을 제공한다.
• 이 방법은 검증/테스트에서 Cityscapes(85.1 IoU)와 Mapillary Vistas(61.1 IoU)에서 최첨단 결과를 달성한다.
• 변형 분석은 다중 스케일 주의가 표준 HRNet-OCR 베이스라인보다 이득을 주며 MS 주의와 자동 라벨링의 조합이 최상의 결과를 제공함을 시사한다.