[논문 리뷰] HERS Superpixels: Deep Affinity Learning for Hierarchical Entropy Rate Segmentation

Hankui Peng, Angelica I. Avilés-Rivero외 1명|arXiv (Cornell University)|2021. 06. 07.

Advanced Image and Video Retrieval Techniques인용 수 5

한 줄 요약

이 논문은 초분할 분할을 위한 이중 단계 딥 러닝 프레임워크인 DAL-HERS를 제안한다. 먼저 깊이 있는 유사도 학습(DAL) 네트워크를 사용해 다중 척도, 경계 인식형 픽셀 유사도를 계산하고, 그 다음 계층적 엔트로피 레이트 분할(HERS)을 적용하여 일정 시간 내에 적응형 초분할을 생성한다. 이 방법은 임의의 수의 초분할을 생성하기 위해 계층적 트리 구조를 활용함으로써 최신 기술 수준의 정확성과 실시간 효율성을 달성한다.

ABSTRACT

Superpixels serve as a powerful preprocessing tool in numerous computer vision tasks. By using superpixel representation, the number of image primitives can be largely reduced by orders of magnitudes. With the rise of deep learning in recent years, a few works have attempted to feed deeply learned features / graphs into existing classical superpixel techniques. However, none of them are able to produce superpixels in near real-time, which is crucial to the applicability of superpixels in practice. In this work, we propose a two-stage graph-based framework for superpixel segmentation. In the first stage, we introduce an efficient Deep Affinity Learning (DAL) network that learns pairwise pixel affinities by aggregating multi-scale information. In the second stage, we propose a highly efficient superpixel method called Hierarchical Entropy Rate Segmentation (HERS). Using the learned affinities from the first stage, HERS builds a hierarchical tree structure that can produce any number of highly adaptive superpixels instantaneously. We demonstrate, through visual and numerical experiments, the effectiveness and efficiency of our method compared to various state-of-the-art superpixel methods.

연구 동기 및 목표

• 객체 경계를 유지하면서도 이미지 구조에 적응하는 실시간, 딥 러닝 기반 초분할 방법의 부족을 해결하기 위해.
• SLIC와 같은 클러스터링 기반 방법의 한계, 예를 들어 균일한 영역에서의 과분할 및 무늬가 풍부한 영역에서의 높은 계산 비용을 극복하기 위해.
• 효율적이고 미분 가능하며 딥 특징과의 통합이 가능한 그래프 기반 초분할 방법을 개발하기 위해.
• 기존 방법이 선형 시간 복잡도를 가지는 데 반해, 계층적 트리 구조를 통해 임의의 수의 초분할을 즉시 생성할 수 있도록 하기 위해.
• 딥 네트워크에서 학습된 유사도가 초분할 품질과 경계 부착성에 크게 기여할 수 있음을 입증하기 위해.

제안 방법

• 딥 컨volution 네트워크에서 추출한 다중 척도 특징을 통합하여 픽셀 간 유사도를 계산하는 딥 유사도 학습(DAL) 네트워크를 제안한다. 이 네트워크는 경계 인식형 지도를 포함한다.
• DAL 네트워크는 국소적 유사도와 경계 존재 여부를 반영하는 유사도를 예측하도록 훈련되어 분할 정확도를 향상시킨다.
• HERS는 유사도 그래프에서 계층적 트리를 구성하기 위해 노드를 반복적으로 병합함으로써 분할 과정의 엔트로피 레이트를 최대화한다.
• 계층적 구조 덕분에 트리를 순회함으로써 임의의 수의 초분할을 즉시 추출할 수 있으며, 초분할 수에 관계없이 일정 시간 성능을 달성한다.
• HERS는 엔트로피 레이트 최대화 기반의 탐욕적 병합 전략을 사용하여 초분할이 객체 경계에 밀착되도록 보장한다.
• 딥 특징 학습과 분할을 분리함으로써, 종료-에서-종료 미분 가능성 제약 없이 효율적인 훈련과 추론이 가능해진다.

실험 결과

연구 질문

• RQ1 딥 네트워크가 그래프 기반 초분할 분할에 적합하고, 경계 인식형 픽셀 간 유사도를 효과적으로 학습할 수 있는가?
• RQ2 HERS와 같은 계층적 그래프 분할 방법이 임의의 수의 초분할을 실시간으로 생성할 수 있는가?
• RQ3 학습된 유사도와 HERS의 조합이 최신 기술 수준의 방법보다 더 뛰어난 경계 부착성과 구조 정확도를 갖는 초분할을 생성하는가?
• RQ4 제안된 프레임워크는 실내 및 실외 환경을 포함한 다양한 이미지 데이터셋에서 높은 성능을 유지할 수 있는가?
• RQ5 초분할 수가 증가함에 따라 HERS의 계산 효율성은 기존의 고전적 및 딥 러닝 기반 초분할 방법과 비교해 어떻게 되는가?

주요 결과

• HERS는 기존 방법이 각 목표 수치에 대해 재계산이 필요한 데 반해, 임의의 수의 초분할을 일정 시간 내에 생성한다.
• BSDS500 데이터셋에서 제안된 방법은 평균 경계 회수(BR) 85.6%와 평균 달성 가능한 분할 정확도(ASA) 89.2%를 기록하여 대부분의 최신 기술 수준 방법을 능가한다.
• 균일한 영역(잔디, 하늘, 벽 등)에서의 과분할가 줄어든 것으로 시각적으로 확인되어 뛰어난 경계 부착성을 보였다.
• 색채도 탐지 작업에서 SLIC를 DAL-HERS로 대체하면, ECSSD 데이터셋에서의 시각적 비교를 통해 더 부드러운 출력과 더 나은 경계 유지가 가능함을 보였다.
• HERS의 누적 런타임은 모든 초분할 수에서 일관되게 낮았으며, 초분할 수에 따라 선형적으로 증가하는 다른 방법들에 비해 뚜렷한 우위를 보였다.
• 제거 실험 결과, HED 경계 맵을 유사도 학습에 통합함으로써 성능 향상이 이루어졌으며, Ours (HED)는 선도적 방법들과 경쟁 가능한 성능을 기록했다.