[논문 리뷰] Correlation Maximized Structural Similarity Loss for Semantic Segmentation

Shuai Zhao, Boxi Wu외 3명|arXiv (Cornell University)|2019. 10. 19.

Advanced Neural Network Applications참고 문헌 48인용 수 15

한 줄 요약

이 논문은 세분화 성능을 햖을 때 픽셀 간 구조적 의존성을 명시적으로 모델링함으로써 성능을 향상시키는 새로운 상관관계 최대화 구조적 유사도 손실(SSL)을 제안한다. SSIM 지표를 영감으로 삼아, SSL은 지도와 예측 세분화 지도 사이의 선형 상관관계를 통해 구조적 유사도를 측정하며, 교차 엔트로피 손실을 재가중하여 상관관계가 낮은 영역에 집중함으로써 경계 및 소형 객체 세분화를 향상시킨다. 이는 최소한의 계산 오버헤드로 이루어진다. 이 방법은 PASCAL VOC 2012에서 최대 1.93%의 mIoU 향상을, Cityscapes에서는 1.39%의 mIoU 향상을 일관되게 달성한다.

ABSTRACT

Most semantic segmentation models treat semantic segmentation as a pixel-wise classification task and use a pixel-wise classification error as their optimization criterions. However, the pixel-wise error ignores the strong dependencies among the pixels in an image, which limits the performance of the model. Several ways to incorporate the structure information of the objects have been investigated, \eg, conditional random fields (CRF), image structure priors based methods, and generative adversarial network (GAN). Nevertheless, these methods usually require extra model branches or additional memories, and some of them show limited improvements. In contrast, we propose a simple yet effective structural similarity loss (SSL) to encode the structure information of the objects, which only requires a few additional computational resources in the training phase. Inspired by the widely-used structural similarity (SSIM) index in image quality assessment, we use the linear correlation between two images to quantify their structural similarity. And the goal of the proposed SSL is to pay more attention to the positions, whose associated predictions lead to a low degree of linear correlation between two corresponding regions in the ground truth map and the predicted map. Thus the model can achieve a strong structural similarity between the two maps through minimizing the SSL over the whole map. The experimental results demonstrate that our method can achieve substantial and consistent improvements in performance on the PASCAL VOC 2012 and Cityscapes datasets. The code will be released soon.

연구 동기 및 목표

• 픽셀 간 공간적 의존성을 忽시하는 표준 픽셀 단위 교차 엔트로피 손실의 한계를 해결하기 위해.
• CRF, 친화도 필드, GAN과 같은 기존의 구조 인지 방법의 단점을 극복하기 위해, 이는 계산 비용이 높거나 이득이 미미하기 때문이다.
• 추가 모델 브랜치나 추론 시 오버헤드 없이도 예측의 구조 일관성을 향상시키는 단순하면서도 효과적인 손실 함수를 개발하기 위해.
• 최소한의 계산 비용으로 다양한 데이터셋과 아키텍처에서 일관된 성능 향상을 달성하기 위해.

제안 방법

• 지도와 예측 세분화 지도의 대응 영역 간 선형 상관관계를 측정하는 구조적 유사도 손실(SSL)을 제안한다.
• 정규화된 지도 영역과 예측 영역 간의 편차를 사용하여 구조적 차이를 계산하고, 이를 선형 상관관계 정도를 측정하는 데 활용한다.
• 구조적 차이의 크기에 따라 표준 교차 엔트로피 손실을 재가중하여 상관관계가 낮은 영역에 더 높은 주의를 기울인다.
• 작은 구조적 차이를 가진 픽셀을 제거함으로써 온라인 하드 예외 마이닝 전략을 적용하여 학습 효율성을 향상시킨다.
• 학습 중 플러그인 손실로 SSL을 통합하여, 소량의 수정과 무시할 만한 추가 계산 비용만 필요로 한다.
• 표준 딥러닝 백본(예: DeepLabv3)을 사용하여 픽셀 단위 정확도와 구조 일관성 양쪽을 최적화한다.

실험 결과

연구 질문

• RQ1 모델 복잡도를 추가하지 않고도 단순하고 미분 가능한 손실 함수가 세분화에서 구조적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 지도와 예측 지도 간 선형 상관관계를 통합함으로써 도전적인 객체 경계나 소형 구조에서의 세분화 성능 향상은 어떻게 이루어지는가?
• RQ3 CRF, 친화도 필드, GAN과 같은 기존의 구조 인지 방법보다 mIoU 향상과 계산 효율성 측면에서 제안된 SSL이 우월한가?
• RQ4 SSL은 다양한 아키텍처와 데이터셋에 일반적으로 적용되어 일관된 성능 향상을 낼 수 있는가?
• RQ5 SSL에서 구조적 유사도를 계산할 때 최적의 영역 크기는 무엇이며, 성능에 어떤 영향을 미치는가?

주요 결과

• 표준 교차 엔트로피 손실 대비 PASCAL VOC 2012 검증 세트에서 제안된 SSL은 1.93%의 mIoU 향상을 달성하였으며, CRF 및 친화도 필드 손실을 능가한다.
• Cityscapes 데이터셋에서 DeepLabv3를 사용할 경우, SSL은 기준 교차 엔트로피 손실 대비 mIoU를 1.39% 향상시켰으며, 모든 클래스에서 일관된 향상이 이루어졌다.
• 단지 0.25%의 mIoU 향상으로 GAN 기반 접근법(예: Luc et al. [27])보다도 더 우수한 성능을 보였으며, 훨씬 더 효율적이고 안정적인 성능을 보였다.
• 영역 크기 3을 사용한 SSL은 PASCAL VOC 2012에서 최고의 mIoU 76.76%를 기록하여 국소 세부 정보와 구조 일관성 사이의 최적 균형을 이루었다.
• 추가적인 추론 시간 또는 메모리 오버헤드가 없어 실시간 및 자원 제약이 있는 응용 분야에 적합하다.
• 클래스별 결과는 소형 또는 저대비 객체(예: 말 다리, 레이스 넘버로 가려진 영역 등)에서의 개선을 확인하여 구조 인지 능력 향상을 입증한다.