[논문 리뷰] Boundary-Aware Segmentation Network for Mobile and Web Applications

Xuebin Qin, Deng-Ping Fan외 7명|arXiv (Cornell University)|2021. 01. 12.

Visual Attention and Saliency Detection참고 문헌 127인용 수 69

한 줄 요약

BASNet는 예측-정제 아키텍처와 하이브리드 손실(BCE+SSIM+IoU)을 갖춘 경계 인식 이미지 분할 네트워크를 도입하여, salient 및 camouflaged 객체에 대해 70fps 이상으로 실행되며 AR Copy & Paste 및 Object Cut 앱을 가능하게 한다.

ABSTRACT

Although deep models have greatly improved the accuracy and robustness of image segmentation, obtaining segmentation results with highly accurate boundaries and fine structures is still a challenging problem. In this paper, we propose a simple yet powerful Boundary-Aware Segmentation Network (BASNet), which comprises a predict-refine architecture and a hybrid loss, for highly accurate image segmentation. The predict-refine architecture consists of a densely supervised encoder-decoder network and a residual refinement module, which are respectively used to predict and refine a segmentation probability map. The hybrid loss is a combination of the binary cross entropy, structural similarity and intersection-over-union losses, which guide the network to learn three-level (ie, pixel-, patch- and map- level) hierarchy representations. We evaluate our BASNet on two reverse tasks including salient object segmentation, camouflaged object segmentation, showing that it achieves very competitive performance with sharp segmentation boundaries. Importantly, BASNet runs at over 70 fps on a single GPU which benefits many potential real applications. Based on BASNet, we further developed two (close to) commercial applications: AR COPY & PASTE, in which BASNet is integrated with augmented reality for "COPYING" and "PASTING" real-world objects, and OBJECT CUT, which is a web-based tool for automatic object background removal. Both applications have already drawn huge amount of attention and have important real-world impacts. The code and two applications will be publicly available at: https://github.com/NathanUA/BASNet.

연구 동기 및 목표

• 이미지 분할 경계 및 미세 구조의 공간적 정확도 향상.
• 깊은 인코더-디코더와 잔차 정제 모듈을 결합한 간단하지만 효과적인 predict-refine 아키텍처를 제안한다.
• 픽셀-, 패치-, 맵-레벨 표현을 감독하기 위해 BCE, SSIM, IoU를 융합한 하이브리드 손실을 설계한다.
• 현실 세계의 응용을 가능하게 하면서 중요한 객체 분할 및 위장 객체 분할에서 강력한 성능을 시연한다.

제안 방법

• 깊은 인코더-디코더 예측 모듈과 잔차 정제 모듈을 갖춘 BASNet를 제안하고 거친 맵을 정제한다.
• 픽셀-, 패치-, 맵-레벨 표적을 감독하기 위해 BCE, SSIM, IoU를 결합한 하이브리드 손실을 사용한다.
• 각 디코더 단계와 추가 정제 모듈이 분할 맵을 생성하는 깊은 감독 체계를 구현한다.
• 세 단계의 손실을 통해 경계 정확도와 전역 영역 정확도의 균형을 맞춘다.
• BASNet를 기반으로 한 AR Copy & Paste 및 Object Cut의 두 가지 준 상용 애플리케이션을 제공하여 실용성을 보여준다.

실험 결과

연구 질문

• RQ1 BASNet가 salient 및 camouflaged 객체 모두에 대해 예리하고 정확한 경계를 달성할 수 있는가?
• RQ2 하이브리드 손실을 갖춘 예측-정제 아키텍처가 경계 및 지역 메트릭에서 표준 인코더-디코더 및 단일 손실 접근법과 비교해서 어떤 차이가 나타나는가?
• RQ3 잔차 정제 모듈이 최종 분할 품질과 경계 정밀도에 미치는 영향은 어느 정도인가?
• RQ4 BASNet 기반의 애플리케이션(AR Copy & Paste, Object Cut)이 실제 세계의 사용 사례에서 실시간 성능을 제공하는가?

주요 결과

• BASNet은 여섯 개의 salient 객체 분할 데이터셋 및 CAM(COD) 데이터셋에서 경쟁력 있는 성능을 달성하며, 경계 평가 지표에서 우수하다.
• 모델은 단일 GPU에서 70fps 이상으로 실행되어 실시간 또는 준실시간 애플리케이션을 가능하게 한다.
• 픽셀-, 패치-, 맵-레벨 대상에 걸친 하이브리드 손실(BCE+SSIM+IoU)은 정확한 경계와 미세 구조를 효과적으로 강조한다.
• 잔차 정제 모듈과 함께 촘촘하게 감독된 인코더-디코더 예측 모듈이 베이스라인보다 분할 품질을 크게 향상시킨다.
• AR Copy & Paste 및 Object Cut의 두 개의 BASNet 기반 애플리케이션은 실용적 배치 가능성과 사용자 영향력을 보여준다.