[논문 리뷰] SSA: Semantic Structure Aware Inference for Weakly Pixel-Wise Dense Predictions without Cost

Yanpeng Sun, Zechao Li|arXiv (Cornell University)|2021. 11. 05.

Advanced Neural Network Applications참고 문헌 42인용 수 9

한 줄 요약

이 논문은 추론 시 다층 컨volution 네트워크 백본의 여러 단계에서 유도된 의미적 구조 정보를 활용하여, 약한 지도 학습에 기반한 픽셀 단위 밀도 예측을 향상시키기 위해 매개변수 없는 방법인 의미적 구조 인식 추론(semantic structure aware inference, SSA)을 제안한다. 학습이나 추가 매개변수 없이도, 구조적 특징 보정을 통해 CAM의 품질을 향상시켜 약한 지도 학습 기반 객체 검색 및 세분화 벤치마크에서 최신 기술 수준(SoA) 성능을 달성한다.

ABSTRACT

The pixel-wise dense prediction tasks based on weakly supervisions currently use Class Attention Maps (CAM) to generate pseudo masks as ground-truth. However, the existing methods typically depend on the painstaking training modules, which may bring in grinding computational overhead and complex training procedures. In this work, the semantic structure aware inference (SSA) is proposed to explore the semantic structure information hidden in different stages of the CNN-based network to generate high-quality CAM in the model inference. Specifically, the semantic structure modeling module (SSM) is first proposed to generate the class-agnostic semantic correlation representation, where each item denotes the affinity degree between one category of objects and all the others. Then the structured feature representation is explored to polish an immature CAM via the dot product operation. Finally, the polished CAMs from different backbone stages are fused as the output. The proposed method has the advantage of no parameters and does not need to be trained. Therefore, it can be applied to a wide range of weakly-supervised pixel-wise dense prediction tasks. Experimental results on both weakly-supervised object localization and weakly-supervised semantic segmentation tasks demonstrate the effectiveness of the proposed method, which achieves the new state-of-the-art results on these two tasks.

연구 동기 및 목표

• 기존 CAM 보정 방법이 추가 학습, 매개변수, 또는 복잡한 초모수 조정을 필요로 하는 한계를 해결하기 위해.
• 학습 비용을 부담하지 않고도 약한 지도 학습 기반 픽셀 단위 밀도 예측 작업에서 Class Activation Maps (CAMs)의 품질을 향상시키기 위해.
• 다양한 백본 단계에서의 깊은 CNN 특징 맵에 숨겨진 상호 클래스 특징 상관관계로 정의되는 의미적 구조 정보를 활용하기 위해.
• 모든 CNN 기반 모델에 일반적으로 적용 가능한 플러그 앤 플레이 추론 시간 모듈을 개발하기 위해.
• 최소한의 계산 비용으로 약한 지도 학습 기반 객체 검색 및 세분화에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• 표준 사전 학습된 이미지 분류 네트워크를 사용하여 시드 CAM를 생성한다.
• 여러 백본 단계에서 매개변수 없는 의미적 구조 모델링(semantic structure modeling, SSM) 모듈을 적용하여 객체 카테고리 간의 클래스 독립적 의미적 상관관계 표현을 계산한다.
• SSM은 각 클래스와 다른 모든 클래스 간의 유사도 점수를 계산하여 특징 맵 내의 구조적 관계를 포착한다.
• 이 구조적 표현을 사용해 초기 CAM를 도트 곱 연산을 통해 보정함으로써 공간적 완전성과 정밀도를 향상시킨다.
• 다양한 단계에서 유도된 다듬어진 CAM들을 융합하여 최종 고품질 CAM을 생성한다.
• 전체 과정은 추론 시에만 적용되며, 재학습이나 추가 매개변수 필요 없음.

실험 결과

연구 질문

• RQ1 딥 컨volution 네트워크 특징 맵에 존재하는 의미적 구조 정보를 학습이나 매개변수 갱신 없이 CAM 품질 향상에 활용할 수 있는가?
• RQ2 다양한 백본 단계에서 유도된 다중 척도 의미적 구조 통합이 약한 지도 학습 기반 밀도 예측에서 CAM 보정에 어떤 영향을 미치는가?
• RQ3 매개변수 없는 추론 전용 모듈이 기존의 학습 중심 CAM 보정 방법보다 약한 지도 학습 기반 객체 검색 및 세분화에서 승리할 수 있는가?
• RQ4 제안된 방법이 작업별 초모수 조정 없이 다양한 백본 아키텍처와 데이터셋에 일반화 가능한가?
• RQ5 의미적 구조의 사용이 약한 지도 학습 기반 세분화에서 의사 마스크의 커버리지와 정확도를 얼마나 향상시키는가?

주요 결과

• CUB-200-2011 데이터셋에서 InceptionV3를 사용한 CAM + SSA는 상위 1위 오차율 44.9%와 상위 5위 오차율 25.5%를 기록하여 이전 SoA 방법을 초월했다.
• 동일한 데이터셋에서 VGG16를 사용한 CAM + SSA는 상위 1위 오차율 44.9%와 상위 5위 오차율 29.1%를 기록하여 베이스라인 CAM 및 다른 SoA 방법을 뛰어넘었다.
• VGG16를 사용한 SPA + SSA는 상위 1위 오차율 38.1%와 상위 5위 오차율 19.4%를 기록하여 SPA+SCG 및 IRNet보다 뚜렷한 향상을 보였다.
• PASCAL VOC 2012에서 IRNet + SSA는 검증 세트에서 67.4%의 mIoU, 테스트 세트에서 67.9%의 mIoU를 기록하여 상자 감독을 사용하는 BoxSup 및 SDI를 포함한 모든 베이스라인을 능가했다.
• 제거 실험 결과 다단계 특징 융합과 SSM 모듈이 성능 향상에 핵심적임을 확인하였으며, 여러 백본 단계의 표현을 융합할 때 최고의 성능가를 달성했다.