[논문 리뷰] Learning to Refine Object Contours with a Top-Down Fully Convolutional Encoder-Decoder Network

Yahui Liu, Jian Yao외 3명|arXiv (Cornell University)|2017. 05. 12.

Advanced Neural Network Applications참고 문헌 9인용 수 5

한 줄 요약

이 논문은 객체 윤곽 검출을 위한 상향식 풀 컨볼루션 인코더-디코더 네트워크인 TD-CEDN을 제안한다. 이는 스킵 커넥션과 딥 서포비전을 활용해 단계적으로 특징을 정제하는 방식으로 기능을 향상시킨다. 다중 척도 및 다중 수준의 특징을 정교한 디컨볼루션 업샘플링 과정을 통해 깊이 서포비전에 의해 이끌어내어, BSDS500(ODS F-스코어: 0.788), PASCAL VOC2012(0.588), NYU Depth(0.735)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We develop a novel deep contour detection algorithm with a top-down fully convolutional encoder-decoder network. Our proposed method, named TD-CEDN, solves two important issues in this low-level vision problem: (1) learning multi-scale and multi-level features; and (2) applying an effective top-down refined approach in the networks. TD-CEDN performs the pixel-wise prediction by means of leveraging features at all layers of the net. Unlike skip connections and previous encoder-decoder methods, we first learn a coarse feature map after the encoder stage in a feedforward pass, and then refine this feature map in a top-down strategy during the decoder stage utilizing features at successively lower layers. Therefore, the deconvolutional process is conducted stepwise, which is guided by Deeply-Supervision Net providing the integrated direct supervision. The above proposed technologies lead to a more precise and clearer prediction. Our proposed algorithm achieved the state-of-the-art on the BSDS500 dataset (ODS F-score of 0.788), the PASCAL VOC2012 dataset (ODS F-score of 0.588), and and the NYU Depth dataset (ODS F-score of 0.735).

연구 동기 및 목표

• 저수준 시각에서 정밀한 객체 윤곽 검출을 위한 다중 척도 및 다중 수준 특징 학습의 과제를 해결하기 위해.
• 표준 스킵 커넥션을 넘어서 디코더 단계에서 상향식 정제 전략을 도입하여 윤곽 예측 품질을 향상시키기 위해.
• 구조적이고 단계적인 방식으로 하위 인코더 레이어의 특징을 통합함으로써 디컨볼루션 업샘플링의 특징 표현을 향상시키기 위해.
• BSDS500, PASCAL VOC2012, NYU Depth를 포함한 표준 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.
• 다양한 이미지 도메인과 입력 유형(RGB, 깊이)에 잘 일반화되는 견고한 엔드 투 엔드 풀 컨볼루션 프레임워크를 제공하기 위해.

제안 방법

• 층수 기반 VGG-16 인코더(pool5까지)를 배치 정규화 및 ReLU 활성화 함수를 사용하여 계층적 특징을 추출한다.
• 디코더 단계에서는 정교한 모듈을 사용해 단계적 업샘플링을 수행하며, 이는 점점 더 낮은 인코더 레이어의 특징과 디컨볼루션된 특징을 연결한다.
• 연결된 특징 맵에 컨볼루션 레이어를 적용하여 표준 언풀링 또는 디컨볼루션을 대체하는 정교화된 고수준 표현을 학습한다.
• 딥 서포비전은 디코더의 각 사이드아웃풋 레이어에 적용되어 다중 척도에서 직접적인 감독을 가능하게 하고 기울기 흐름을 향상시킨다.
• 최종 출력은 모든 사이드아웃풋 예측을 연결하여 다중 척도 및 다중 수준 특징을 통합해 최종 픽셀 단위의 윤곽 예측을 수행한다.
• 다중 모odal 입력(RGB 및 깊이 등)의 경우 예측을 평균화하여 융합함으로써 RGB-기반 데이터셋보다 성능 향상을 이룰 수 있으며, NYU Depth와 같은 깊이 향상된 데이터셋에서 유의미한 성능 향상을 얻을 수 있다.

실험 결과

연구 질문

• RQ1 풀 컨볼루션 인코더-디코더 네트워크에서 상향식 정제 전략이 표준 스킵 커넥션을 넘어서 윤곽 검출 성능을 향상시킬 수 있는가?
• RQ2 디코더의 다중 레이어에 걸쳐 딥 서포비전을 적용할 경우, 윤곽 검출을 위한 다중 척도 및 다중 수준 특징 학습에 어떤 영향을 미치는가?
• RQ3 종료형 디컨볼루션 대비 단계적, 계층적 방식으로 디컨볼루션 특징을 정제할 경우 윤곽 정밀도 향상과 노이즈 감소에 얼마나 기여하는가?
• RQ4 제안된 네트워크는 RGB 전용(BSDS500, PASCAL VOC2012) 및 RGB-D(NYU Depth) 벤치마크를 포함한 다양한 데이터셋에서 일반화 가능한가?
• RQ5 제안된 프레임워크에서 RGB 특징과 함께 깊이 맵을 통합할 경우 윤곽 검출 성능 향상이 이루어지는가?

주요 결과

• TD-CEDN은 BSDS500 데이터셋에서 최신 기술 수준의 ODS F-스코어 0.788을 달성하여 CEDN 및 HED와 같은 이전 방법들을 능가했다.
• PASCAL VOC2012 검증 세트에서 최적화된 TD-CEDN 모델은 ODS F-스코어 0.588을 기록하여, 미세조정 후에도 강력한 일반화 능력과 성능 향상을 보였다.
• NYU Depth 데이터셋에서 모델은 ODS F-스코어 0.735를 기록했으며, 깊이 향상된 예측은 RGB 전용 결과 대비 0.017 향상된 성능을 보였다.
• 시각적 비교 결과 TD-CEDN은 노이즈가 줄어들고 더 정밀한 윤곽을 생성하며, 특히 복잡한 국소 패치에서 우수한 국소화 성능을 보였다.
• 특히 미세하고 연속적인 객체 경계를 탐지하는 데 있어 HED 및 CEDN에 비해 정량적 지표와 시각적 품질 모두에서 뛰어난 성능을 보였다.
• 절단 분석 결과 상향식 정제 전략과 딥 서포비전이 성능 향상에 크게 기여하며, 정교한 디컨볼루션 모듈이 특징 정제의 핵심 역할을 한다는 것이 확인되었다.