[논문 리뷰] L2G: A Simple Local-to-Global Knowledge Transfer Framework for Weakly Supervised Semantic Segmentation

Peng-Tao Jiang, Yuqi Yang외 2명|arXiv (Cornell University)|2022. 04. 07.

Advanced Neural Network Applications인용 수 10

한 줄 요약

L2G는 이미지 수준의 레이블을 사용하여 약한 지도 학습(semantic segmentation)을 위한 단순한 로컬-글로벌 지식 전이 프레임워크를 제안한다. 이는 다수의 로컬 이미지 패치를 활용하여 고품질의 클래스 활성화 맵(CAMs)을 생성하고, 이를 온라인 지식 정복을 통해 글로벌 네트워크에 정복한다. 이 방법은 이미지 수준의 지도를 사용하여 PASCAL VOC 2012에서 72.1% mIoU, MS COCO 2014에서 44.2% mIoU를 달성하여 최신 기술 수준(SOTA) 성능을 기록한다.

ABSTRACT

Mining precise class-aware attention maps, a.k.a, class activation maps, is essential for weakly supervised semantic segmentation. In this paper, we present L2G, a simple online local-to-global knowledge transfer framework for high-quality object attention mining. We observe that classification models can discover object regions with more details when replacing the input image with its local patches. Taking this into account, we first leverage a local classification network to extract attentions from multiple local patches randomly cropped from the input image. Then, we utilize a global network to learn complementary attention knowledge across multiple local attention maps online. Our framework conducts the global network to learn the captured rich object detail knowledge from a global view and thereby produces high-quality attention maps that can be directly used as pseudo annotations for semantic segmentation networks. Experiments show that our method attains 72.1% and 44.2% mIoU scores on the validation set of PASCAL VOC 2012 and MS COCO 2014, respectively, setting new state-of-the-art records. Code is available at https://github.com/PengtaoJiang/L2G.

연구 동기 및 목표

• 이미지 수준의 레이블을 사용하여 약한 지도 학습에서 클래스 활성화 맵(CAMs)의 품질을 향상시키는 것.
• 전체 이미지 모델이 미세한 물체 세부 정보를 포착하는 데 한계가 있음을 해결하기 위해 로컬 이미지 패치를 활용하는 것.
• 로컬 네트워크에서 글로벌 네트워크로의 온라인 지식 전달을 통해 주의 맵 품질을 향상시키는 것.
• 더 강력한 로컬 모델(예: 트랜스포머)을 통합할 수 있는 유연하고 단순한 프레임워크를 개발하는 것.

제안 방법

• 이 방법은 입력 이미지의 무작위로 잘린 로컬 패치에서 주의 맵을 추출하기 위해 로컬 분류 네트워크를 사용한다.
• 글로벌 네트워크는 지식 정복 손실을 통해 다수의 로컬 주의 맵으로부터 상보적인 주의 지식을 정복하도록 훈련된다.
• 이 프레임워크는 온라인 지식 전달을 수행하여 글로벌 네트워크가 다양한 로컬 시각으로부터 풍부한 로컬 세부 정보를 학습할 수 있도록 한다.
• 글로벌 네트워크의 최종 주의 맵은 세그멘테이션 네트워크 훈련을 위한 의사 레이블(pseudo annotations)으로 사용된다.
• 아키텍처는 모듈식이므로, 향후 성능 향상을 위해 더 강력한 로컬 모델(예: 트랜스포머)의 통합이 가능하다.

실험 결과

연구 질문

• RQ1 전체 이미지를 사용하는 것과 비교해 로컬 이미지 패치를 사용할 경우 클래스 활성화 맵의 품질이 향상되는가?
• RQ2 다양한 로컬 시각으로부터의 상보적인 주의 지식이 온라인 방식으로 글로벌 네트워크로 효과적으로 전달될 수 있는가?
• RQ3 제안된 로컬-글로벌 지식 전이 프레임워크가 기존 최신 기술 수준의 방법보다 우수한 성능을 내는가?
• RQ4 이 방법은 PASCAL VOC 2012와 같은 도전적인 벤치마크인 MS COCO 2014를 포함한 다양한 데이터셋에 대해 일반화되는가?

주요 결과

• L2G 프레임워크는 PASCAL VOC 2012 검증 세트에서 72.1% mIoU를 달성하여 약한 지도 학습 하에서 새로운 최신 기술 수준을 설정한다.
• MS COCO 2014 검증 세트에서는 44.2% mIoU를 기록하여 이전 방법들을 크게 앞서며 성능을 뛰어나게 한다.
• PASCAL VOC 2012에서 이전 최신 기술 수준 방법인 EPS보다 약 1% 향상되어, 로컬-글로벌 지식 전이의 효과성을 입증한다.
• L2G가 생성한 의사 레이블의 mIoU는 MS COCO에서 43.4%에 달하며, EPS의 37.2%에 비해 뛰어난 주의 맵 품질을 보여준다.
• 제거 실험을 통해 로컬 주의 품질과 지식 정복 모두가 성능 향상에 크게 기여하는 것으로 확인된다.