[논문 리뷰] Label-efficient Segmentation via Affinity Propagation

Wentong Li, Yuqian Yuan외 6명|arXiv (Cornell University)|2023. 10. 16.

Advanced Computing and AlgorithmsSocial Sciences인용 수 3

한 줄 요약

이 논문은 APro를 제안하며, 이는 전역 및 국소 쌍별 유사성 항목을 사용하여 유사성 확산 과정으로 유사성 모델링을 정식화함으로써 정확한 소프트 가짜 레이블을 생성하는 레이블 효율적인 세분화 방법이다. 토폴로지 인식 그래프 전파와 효율적인 O(N log N) 구현을 활용하여 APro는 상자에 기반한 인스턴스 세분화, 점/스크래치에 기반한 세분화, CLIP 유도 세분화 등 다양한 과제에서 뛰어난 성능을 달성하면서도 계산 비용을 크게 감소시켰다.

ABSTRACT

Weakly-supervised segmentation with label-efficient sparse annotations has attracted increasing research attention to reduce the cost of laborious pixel-wise labeling process, while the pairwise affinity modeling techniques play an essential role in this task. Most of the existing approaches focus on using the local appearance kernel to model the neighboring pairwise potentials. However, such a local operation fails to capture the long-range dependencies and ignores the topology of objects. In this work, we formulate the affinity modeling as an affinity propagation process, and propose a local and a global pairwise affinity terms to generate accurate soft pseudo labels. An efficient algorithm is also developed to reduce significantly the computational cost. The proposed approach can be conveniently plugged into existing segmentation networks. Experiments on three typical label-efficient segmentation tasks, i.e. box-supervised instance segmentation, point/scribble-supervised semantic segmentation and CLIP-guided semantic segmentation, demonstrate the superior performance of the proposed approach.

연구 동기 및 목표

• 약한 감독 세분화에서 국소적 외관 커널이 장거리 의존성과 객체 토폴로지 표현에 한계를 보이는 문제를 해결하기 위해.
• 전역 유사성 모델링에서 계산 비용을 줄이면서도 세분화된 의미 관계를 유지하기 위해.
• 기존 세분화 네트워크에 최소한의 아키텍처 변경으로 통합 가능한 플러그인 컴포넌트를 개발하기 위해.
• 국소 및 전역 유사성 확산을 활용하여 레이블 효율적인 세분화 과제의 가짜 레이블 품질을 향상시키기 위해.

제안 방법

• 약한 감독 세분화를 통합된 유사성 확산 과정으로 정식화하여 반복적으로 소프트 가짜 레이블을 개선한다.
• 장거리 의존성을 국소 이웃을 초월해 모델링하기 위해 토폴로지 인식 트리 기반 그래프를 사용하는 전역 쌍별 유사성 항목을 도입한다.
• 예측의 공간 일관성과 조각별 매끄러움을 강제하기 위해 국소 쌍별 유사성 항목을 개발한다.
• O(N²) 브루트 포스 계산을 대체하기 위해 효율적인 O(N log N) 알고리즘을 적용하여 실용적 구현을 가능하게 한다.
• 전역 및 국소 유사성 확산을 병렬 또는 순차적 캐스케이드 방식으로 조합하여 상보적인 가짜 레이블을 생성한다.
• 희소 레이블을 사용한 엔드 투 엔드 훈련을 위해 APro 모듈을 기존 세분화 네트워크에 통합한다.

실험 결과

연구 질문

• RQ1 약한 감독 세분화에서 국소 및 전역 쌍별 관계를 효과적으로 모델링하기 위해 유사성 확산을 활용할 수 있는가?
• RQ2 국소적 외관 커널에 비해 토폴로지 인식 그래프 구조를 통합함으로써 장거리 유사성 모델링이 어떻게 향상되는가?
• RQ3 효율적인 O(N log N) 구현이 전역 유사성 확산에서 계산 비용을 크게 줄이면서도 높은 정확도를 유지할 수 있는가?
• RQ4 전역 및 국소 유사성 항목이 고품질 소프트 가짜 레이블 생성에 어떻게 상호 보완적인가?
• RQ5 APro는 상자에 기반한, 점/스크래치에 기반한, CLIP 유도 세분화와 같은 다양한 레이블 효율적인 세분화 과제에 얼마나 일반화될 수 있는가?

주요 결과

• 제안된 APro 방법은 상자에 기반한 인스턴스 세분화에서 Pascal VOC 데이터셋에서 38.4%의 마스크 AP를 달성하여 이전 방법들을 능가한다.
• 전역 및 국소 쌍별 항목을 병렬로 사용할 경우(GP-LP-P) 최고의 성능을 기록하여 두 항목이 상호 보완적임을 입증한다.
• 효율적인 구현 덕분에 평균 런타임이 O(N²)의 4,300 ms에서 O(N log N)의 0.8 ms로 감소하여 실시간 추론이 가능해졌다.
• MeanField 기반 방법보다 APro가 더 빠르게 수렴하여 20회 반복 시 36.0% AP를 달성했으며, 이는 유사한 성능를 얻기 위해 100회 반복이 필요한 MeanField 방법과 비교된다.
• 절단 분석 결과 전역 및 국소 유사성 항목이 모두 필수적이며, 전역 항목이 성능 향상에 가장 기여함을 확인했다.
• 세 가지 다른 레이블 효율적인 과제에 걸쳐 잘 일반화되며, CLIP 유도 무레이블 세분화를 포함한 강력한 전이 성능을 보였다.