[논문 리뷰] Three Birds One Stone: A Unified Framework for Salient Object Segmentation, Edge Detection and Skeleton Extraction.

Qibin Hou, Jiangjiang Liu외 3명|arXiv (Cornell University)|2018. 03. 27.

Visual Attention and Saliency Detection인용 수 27

한 줄 요약

이 논문은 수평적 캐스케이드 구조와 밀집 연결을 갖춘 단일 아키텍처를 사용하여 명현 객체 세그멘테이션, 에지 검출, 스켈레톤 추출을 동시에 수행하는 통합 딥러닝 프레임워크를 제안한다. 다중 작업 간의 계층적 특징 융합을 활용함으로써, 이 방법은 세 가지 픽셀 단위 이진 세그멘테이션 작업 전반에서 최신 기술 수준의 성능을 달성하며, 전용 모델보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we aim at solving pixel-wise binary problems, including salient object segmentation, skeleton extraction, and edge detection, by introducing a unified architecture. Previous works have proposed tailored methods for solving each of the three tasks independently. Here, we show that these tasks share some similarities that can be exploited for developing a unified framework. In particular, we introduce a horizontal cascade, each component of which is densely connected to the outputs of previous component. Stringing these components together allows us to effectively exploit features across different levels hierarchically to effectively address the multiple pixel-wise binary regression tasks. To assess the performance of our proposed network on these tasks, we carry out exhaustive evaluations on multiple representative datasets. Although these tasks are inherently very different, we show that our unified approach performs very well on all of them and works far better than current single-purpose state-of-the-art methods. All the code in this paper will be publicly available.

연구 동기 및 목표

• 명현 객체 세그멘테이션, 에지 검출, 스켈레톤 추출을 위한 전용 모델의 한계를 해결하기 위해 세 가지 작업을 하나의 아키텍처로 통합하고자 한다.
• 세 가지 픽셀 단위 이진 작업 간의 공유되는 구조적 및 맥락적 특징을 활용하여 성능을 향상시키고자 한다.
• 다중 수준에서 특징을 계층적으로 융합할 수 있는 캐스케이드 구조이자 밀집 연결된 네트워크를 설계하여 표현 학습을 향상시키고자 한다.
• 다양한 벤치마크 데이터셋에서 통합 프레임워크를 평가하여 단일 작업 최신 기술 수준의 방법에 비해 일반화 능력과 우수성을 검증하고자 한다.

제안 방법

• 모든 이전 컴포넌트의 출력과 밀접하게 연결된 네트워크 컴포넌트의 수평적 캐스케이드를 사용하여 풍부한 특징 전파를 가능하게 한다.
• 다양한 수용 영역을 가진 특징을 융합하기 위해 계층적 특징 융합을 사용하여 표현 학습을 향상시킨다.
• 공통 백본 네트워크가 입력 이미지를 처리하고, 세 가지 작업에 대해 동시에 최적화되는 특징 맵을 생성한다.
• 세 가지 작업 각각의 이진 교차 엔트로피 손실을 조합한 다중 작업 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 컴포넌트 간의 밀집 스킵 연결을 통해 효과적인 기울기 전파와 특징 재사용이 가능해져 캐스케이드 전반에서 성능 향상을 이룬다.
• 통합 아키텍처는 작업 간 파라미터 공유를 가능하게 하여 모델 복잡도를 감소시키면서도 높은 성능를 유지한다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 아키텍처가 명현 객체 세그멘테이션, 에지 검출, 스켈레톤 추출이라는 세 가지 다른 픽셀 단위 이진 세그멘테이션 작업을 효과적이고 효율적으로 동시에 해결할 수 있는가?
• RQ2 공유 특징과 계층적 특징 융합은 이러한 서로 다른데 관련된 작업들 간의 성능 향상에 어느 정도 기여하는가?
• RQ3 제안된 통합 프레임워크는 정확도와 일반화 능력 측면에서 최신 기술 수준의 전용 모델과 비교해 어떻게 성능가능한가?
• RQ4 수평적 캐스케이드와 밀집 연결은 표준 순차적 또는 병렬 아키텍처에 비해 더 나은 특징 학습과 성능을 이끌어내는가?

주요 결과

• 제안된 통합 프레임워크는 명현 객체 세그멘테이션, 에지 검출, 스켈레톤 추출 세 가지 작업 모두에서 최신 기술 수준의 성능을 同시에 달성한다.
• 모든 평가된 데이터셋에서 현재의 전용 최신 기술 수준 모델을 초월하여 뛰어난 일반화 능력과 강건성을 보여준다.
• 수평적 캐스케이드를 통한 계층적 특징 융합은 효과적인 다중 수준 표현 학습을 가능하게 하여 검출 및 세그멘테이션 정확도를 향상시킨다.
• 컴포넌트 간의 밀집 연결은 기울기 전파와 특징 재사용을 향상시켜 수렴 속도 향상과 더 나은 성능 기여를 한다.
• 통합 아키텍처는 각 작업별 별도의 모델이 필요로 하는 것을 줄여주며, 다수의 픽셀 단위 예측 작업에 대해 더 효율적이고 확장 가능한 솔루션을 제공한다.
• 다양한 대표적 데이터셋에서 프레임워크가 검증되어 다양한 이미지 분포에 걸쳐 효과성과 일관성이 확인되었다.