[논문 리뷰] Three Birds One Stone: A General Architecture for Salient Object Segmentation, Edge Detection and Skeleton Extraction

Qibin Hou, Jiangjiang Liu외 3명|arXiv (Cornell University)|2018. 03. 27.

Visual Attention and Saliency Detection참고 문헌 81인용 수 11

한 줄 요약

이 논문은 수평적 캐스케이드로 구성된 밀집 연결 인코더를 통해 주목할 만한 객체 세분화, 에지 검출, 스켈레톤 추출을 통합하는 일반적인 딥러닝 아키텍처인 GearNet을 제안한다. 컨볼루션 네트워크 백본에서 다중 수준 특징을 점진적으로 융합함으로써, 이 모델은 모든 세 가지 작업에서 최신 기술 수준의 성능을 달성하며, 기준 데이터셋에서 F-측정치에 최대 3.4% 향상을 이룬다.

ABSTRACT

In this paper, we aim at solving pixel-wise binary problems, including salient object segmentation, skeleton extraction, and edge detection, by introducing a unified architecture. Previous works have proposed tailored methods for solving each of the three tasks independently. Here, we show that these tasks share some similarities that can be exploited for developing a unified framework. In particular, we introduce a horizontal cascade, each component of which is densely connected to the outputs of previous component. Stringing these components together allows us to effectively exploit features across different levels hierarchically to effectively address the multiple pixel-wise binary regression tasks. To assess the performance of our proposed network on these tasks, we carry out exhaustive evaluations on multiple representative datasets. Although these tasks are inherently very different, we show that our unified approach performs very well on all of them and works far better than current single-purpose state-of-the-art methods. All the code in this paper will be publicly available.

연구 동기 및 목표

• 단일 목적의 컨볼루션 네트워크 아키텍처가 오직 하나의 픽셀 단위 이진 작업에 최적화되어 있는 한계를 해결하기 위해.
• 주목할 만한 객체 세분화, 에지 검출, 스켈레톤 추출 간의 공통적인 구조적 및 특징 수준의 유사성을 규명하기 위해.
• 여러 저수준 시각 작업을 동시에 효과적으로 해결할 수 있는 일반 목적의 아키텍처를 설계하기 위해.
• 제안된 아키텍처를 다양한 표준 벤치마크에서 평가하여, 작업별 최신 기술 수준의 방법에 비해 일반화 능력과 우수성을 검증하기 위해.

제안 방법

• 각 인코더가 이전의 모든 인코더로부터 밀집 스킵 연결을 수신하는 수평적 캐스케이드 인코더를 제안하여 계층적 특징 융합을 가능하게 한다.
• 전이 노드를 사용하여 컨볼루션 네트워크 백본에서 다중 수준 특징을 집계하고, 후속 작업을 위한 표현을 점진적으로 정밀화한다.
• 다양한 척도와 추상화 수준에서 특징을 추출하고 정제하기 위해 학습 가능한 필터를 갖춘 다중 경로 사이드 스트림을 활용한다.
• 인코더 간의 밀집 스킵 연결을 도입하여 특징 전파를 향상시키고 학습 중 기울기 소실을 방지한다.
• 동일한 아키텍처를 공유 구성 요소와 함께 주목할 만한 객체 세분화, 에지 검출, 스켈레톤 추출이라는 세 가지 다른 작업에 적용하며, 작업별 헤드를 사용한다.
• 성능에 미치는 영향을 분석하기 위해 인코더 수, 채널 너비, 신호 흐름 연결 구조에 대한 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 한 개의 딥러닝 아키텍처가 주목할 만한 객체 세분화, 에지 검출, 스켈레톤 추출이라는 근본적으로 다른 픽셀 단위 이진 분할 작업을 효과적으로 동시에 해결할 수 있는가?
• RQ2 일반 목적의 네트워크가 작업별 최신 기술 수준의 모델을 능가하도록 하기 위해 필수적인 아키텍처 구성 요소는 무엇인가?
• RQ3 수평적 캐스케이드 인코더를 통한 계층적 특징 융합이 다양한 저수준 시각 작업에서 성능 향상에 어떻게 기여하는가?
• RQ4 각 작업에서 성능을 최대화하기 위해 최적의 인코더 깊이, 채널 너비, 스킵 연결 구조는 무엇인가?
• RQ5 밀집 스킵 연결과 다중 수준 특징 통합이 제안된 아키텍처의 강건성과 일반화 능력에 얼마나 기여하는가?

주요 결과

• 스켈레톤 추출 작업에서 SK-LARGE 데이터셋에서 이전 최신 기술 수준 대비 F-측정치에 3.4%p의 절대적 향상을 기록했다.
• WH-SYMMAX 데이터셋에서 기존 방법 대비 F-측정치가 2.1 포인트 향상되어, 다양한 데이터셋 간에도 강력한 일반화 능력을 입증했다.
• 주목할 만한 객체 세분화 작업에서 다섯 개의 벤치마크 데이터셋 전반에서 이전 최신 기술 수준 대비 평균적으로 약 2%의 성능 향상을 달성했다.
• 분석 실험 결과, 두 번째 인코더(E₂)를 제거할 경우 F-측정치가 2점 이상 감소함을 확인하여, 스켈레톤 추출의 특징 정밀화에 있어 그 중요성이 뚜렷하게 드러났다.
• 인코더 간 수평적 신호 흐름 수를 줄일 경우 약 2점의 F-측정치 감소가 발생함을 확인하여, 계층 간 특징 연결의 중요성을 재확인했다.
• 기존 방법 대비 더 얇고 더 연속적인 스켈레톤을 생성함으로써, 이는 시각적 및 정량적 검증을 통해 후속 응용 분야에서 우수한 성능을 보임을 입증했다.