[논문 리뷰] Super-BPD: Super Boundary-to-Pixel Direction for Fast Image Segmentation

Jianqiang Wan, Yang Liu외 3명|arXiv (Cornell University)|2020. 05. 30.

Medical Image Segmentation Techniques참고 문헌 30인용 수 4

한 줄 요약

이 논문은 경계에서 각 픽셀으로 향하는 방향 벡터(BPD)를 사용하여 강건하고 방향 일致성을 갖춘 슈퍼픽셀을 생성하는 새로운 빠른 이미지 분할 방법인 Super-BPD를 제안한다. 영역 인접 그래프에서 인접한 슈퍼-BPD 간의 방향 유사도를 활용함으로써, 근사적인 분할을 효율적으로 수행할 수 있으며, BSDS500 및 Pascal Context에서 MCG와 비교해도 성능이 유사하거나 뛰어나며, 약 25 fps의 거의 실시간 추론 속도를 달성한다.

ABSTRACT

Image segmentation is a fundamental vision task and a crucial step for many applications. In this paper, we propose a fast image segmentation method based on a novel super boundary-to-pixel direction (super-BPD) and a customized segmentation algorithm with super-BPD. Precisely, we define BPD on each pixel as a two-dimensional unit vector pointing from its nearest boundary to the pixel. In the BPD, nearby pixels from different regions have opposite directions departing from each other, and adjacent pixels in the same region have directions pointing to the other or each other (i.e., around medial points). We make use of such property to partition an image into super-BPDs, which are novel informative superpixels with robust direction similarity for fast grouping into segmentation regions. Extensive experimental results on BSDS500 and Pascal Context demonstrate the accuracy and efficency of the proposed super-BPD in segmenting images. In practice, the proposed super-BPD achieves comparable or superior performance with MCG while running at ~25fps vs. 0.07fps. Super-BPD also exhibits a noteworthy transferability to unseen scenes. The code is publicly available at https://github.com/JianqiangWan/Super-BPD.

연구 동기 및 목표

• 약한 경계를 가진 자연 이미지에서 전통적인 비지도 이미지 분할 방법의 비효율성과 부정확성을 해결하기 위해.
• 최신 기법에서 흔히 볼 수 있는 윤곽에서 분할로의 변환 파이프라인에서 발생하는 높은 계산 비용과 오류 전파 문제를 극복하기 위해.
• 픽셀과 경계 간의 방향적 관계를 인코딩하는 슈퍼픽셀 유사 구조를 개발하여 강건하고 효율적인 분할을 가능하게 하기 위해.
• 딥러닝 재학습이 필요 없이 객체 제안 생성 등의 후속 작업에 적합한 빠르고 이식 가능한 분할을 가능하게 하기 위해.
• 특히 약한 경계가 있는 도전적인 상황에서 분할 정확도와 추론 속도 사이의 우수한 트레이드오프를 달성하기 위해.

제안 방법

• 각 픽셀에서 가장 가까운 경계로 향하는 2차원 단위 벡터인 경계-픽셀 방향(BPD)을 정의하여, 경계의 위치와 상대적 영역 소속 관계를 모두 인코딩한다.
• 유사한 BPD를 가진 픽셀을 군집화하여 슈퍼-BPD로 이미지를 분할함으로써, 약한 경계에 강건하고 방향 일致성을 갖춘 밀집된 영역을 형성한다.
• 공유 경계를 따라 방향 유사도에 따라 가중치가 부여된 영역 인접 그래프(RAG)를 구성한다.
• RAG에 대해 방향 유사도를 기반으로 하향식 융합 전략을 적용하여 슈퍼-BPD를 최종 분할 영역으로 융합한다.
• L2 손실과 각도 영역 손실을 조합한 손실 함수를 사용하여, BPD 벡터를 엔드 투 엔드로 예측하는 미분 가능 네트워크를 활용한다.
• 경계를 따라 방향 유사도 계산에 사용되는 스텝 수 s를 최적화하며, s=3일 때 최적의 성능을 얻는 것으로 확인된다.

실험 결과

연구 질문

• RQ1 경계-픽셀 방향 표현은 전통적인 슈퍼픽셀에 비해 더 강건하고 효율적인 이미지 분할 대안이 될 수 있는가?
• RQ2 인접한 슈퍼-BPD 간의 방향 유사도는 특히 약한 경계에서 정확하고 효율적인 분할을 가능하게 하는가?
• RQ3 제안된 방법은 MCG와 같은 최신 기법의 정확도를 유지하거나 초월하면서도 실시간 성능을 달성할 수 있는가?
• RQ4 학습된 BPD 표현은 새로운 환경과 객체 제안 생성 등의 후속 작업에 얼마나 이식 가능한가?
• RQ5 하이퍼파라미터(예: 스텝 수 s, 손실 함수) 중에서 분할 성능에 가장 큰 영향을 미치는 것은 무엇이며, 그 이유는 무엇인가?

주요 결과

• Super-BPD는 PASCAL Context 데이터셋에서 영역 F-측정값 0.472를 기록하여 MCG(0.454) 및 기타 기준 기법들을 능가한다.
• PASCAL Context에서 약 25 fps로 실행되어 MCG의 0.07 fps보다 훨씬 빠르며, 거의 실시간 추론을 구현한다.
• ASPP 모듈은 PASCAL Context에서 성능을 0.018 향상시키고, BSDS500에서는 0.012 향상시켜, 큰 스케일의 영역 구조를 포괄하는 데의 가치를 확인한다.
• L2 손실과 각도 영역 손실을 병합한 조합이 PASCAL Context에서 F_op 0.472의 최고 성능을 기록하여, 각각의 손실만 사용할 경우보다 뛰어난 성능을 보였다.
• 방향 유사도 계산에서 스텝 수 s=3이 최적의 정확도를 낼 수 있었으며, 이는 방향 일치성과 국소적 변동성 사이의 균형을 잘 맞추기 때문이다.
• 객체 제안 생성 과제에서 Super-BPD는 PASCAL VOC2007에서 M-BING에 비해 약 2배에 가까운 검출 재현율을 향상시켰다(500개 제안까지의 DEL 기준).