[논문 리뷰] Semantic Edge Detection with Diverse Deep Supervision

Yun Liu, Ming‐Ming Cheng외 4명|arXiv (Cornell University)|2018. 04. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 67인용 수 40

한 줄 요약

DDS는 단일 백본에서 다양한 깊은 감독을 가능하게 하는 정보 변환기를 도입하여 의미적 에지 검출에서 SBD와 Cityscapes에서 최첨단 성능을 달성합니다.

ABSTRACT

Semantic edge detection (SED), which aims at jointly extracting edges as well as their category information, has far-reaching applications in domains such as semantic segmentation, object proposal generation, and object recognition. SED naturally requires achieving two distinct supervision targets: locating fine detailed edges and identifying high-level semantics. Our motivation comes from the hypothesis that such distinct targets prevent state-of-the-art SED methods from effectively using deep supervision to improve results. To this end, we propose a novel fully convolutional neural network using diverse deep supervision (DDS) within a multi-task framework where bottom layers aim at generating category-agnostic edges, while top layers are responsible for the detection of category-aware semantic edges. To overcome the hypothesized supervision challenge, a novel information converter unit is introduced, whose effectiveness has been extensively evaluated on SBD and Cityscapes datasets.

연구 동기 및 목표

• 기존 SED 방법이 서로 상충하는 감독 목표 때문에 깊은 감독의 이점을 얻지 못하는 이유를 분석한다.
• 정보 변환기를 사용하여 하단과 상단 레이어에 서로 다른 감독을 간접적으로 적용하는 DDS 아키텍처를 제안한다.
• 하단 측 감독이 변환기를 통해 버퍼링되고 상단 의미 에지와 융합될 때 로컬라이제이션이 개선되는지 보여준다.
• SBD와 Cityscapes에서 DDS를 평가하여 최첨단 성능을 입증하고 설계 선택을 제거(ablate)한다.

제안 방법

• Side-1부터 Side-4까지를 생성하는 이진 카테고리 무관 에지 맵을 정보 변환기를 통해 얻는 ResNet 기반 백본을 채택한다.
• 하단 레이어 특징을 버퍼링하고 하단(카테고리 무관)과 상단(의미적) 목표에 대해 두 개의 독립적인 손실을 가능하게 하는 정보 변환기 유닛을 도입한다.
• Side-5에서 의미 에지를 계산하고 하단 에지 출력과 겹쳐져 최종 의미 에지를 생성하기 위해 스택드 에지 활성화 맵과 K-그룹 1x1 컨볼루션을 통해 융합한다.
• 다중 태스크 손실을 L_side^(m) (m in 1..4)와 최종 의미 에지 맵에 대한 L_fuse를 결합한 형태로 학습하고 (3)-(6)식과 같이 재가중 교차 엔트로피를 사용한다.
• 대체 무가중치 손실 버전(DDS-U)과 SEAL 정렬된 변형(DDS-R)으로 감독 전략을 탐색한다.
• CASENet에서 영감을 받은 ResNet 백본 아키텍처를 따라 확장된 확산 합성卷과 이중 업샘플링, COCO에서 사전 학습 후 SBD/Cityscapes에서 미세 조정하는 방식을 따른다.

실험 결과

연구 질문

• RQ1 서로 다른 감독 목표(카테고리 무관 vs. 의미 에지)를 단일 백본에서 효과적으로 분리하여 최적화 충돌 없이 달성할 수 있는가?
• RQ2 정보 변환기 버퍼링이 SED에 유익한 다양한 깊은 감독을 가능하게 하는가?
• RQ3 하단 측 에지를 상단의 의미 에지와 전용 융합 메커니즘으로 결합하면 의미 에지 로컬라이제이션이 향상되는가?
• RQ4 DDS가 CASENet 및 기타 베이스라인, 제거 실험(ablations)을 포함한 표준 SED 벤치마크(SBD, Cityscapes)에서 어떻게 수행하는가?

주요 결과

에어.	자전거	새	보트	봇.	버스	차	고양이	의자	소	테이블	개	말	모터	사람	화분	양	소파	기차	TV	평균
Softmax	74.0	64.1	64.8	52.5	52.1	73.2	68.1	73.2	43.1	56.2	37.3	67.4	68.4	67.6	76.7	42.7	64.3	37.5	64.6	56.3	60.2
Basic	82.5	74.2	80.2	62.3	68.0	80.8	74.3	82.9	52.9	73.1	46.1	79.6	78.9	76.0	80.4	52.4	75.4	48.6	75.8	68.0	70.6
DSN	81.6	75.6	78.4	61.3	67.6	82.3	74.6	82.6	52.4	71.9	45.9	79.2	78.3	76.2	80.1	51.9	74.9	48.0	76.5	66.8	70.3
CASENet+S4	84.1	76.4	80.7	63.7	70.3	81.3	73.4	79.4	56.9	70.7	47.6	77.5	81.0	74.5	79.9	54.5	74.8	48.3	72.6	69.4	70.9
DDS ∖ Convt	83.3	77.1	81.7	63.6	70.6	81.2	73.9	79.5	56.8	71.9	48.0	78.3	81.2	75.2	79.7	54.3	76.8	48.9	75.1	68.7	71.3
DDS ∖ Convt †	83.6	75.4	78.9	59.9	69.7	79.7	71.9	77.2	54.7	72.0	42.8	75.5	77.1	71.9	79.1	53.4	76.4	46.9	72.6	66.9	69.3
DDS ∖ DeSup	82.5	77.4	81.5	62.4	70.8	81.6	73.8	80.5	56.9	72.4	46.6	77.9	80.1	73.4	79.9	54.8	76.6	47.5	73.3	67.8	70.9
CASENet	83.3	76.0	80.7	63.4	69.2	81.3	74.9	83.2	54.3	74.8	46.4	80.3	80.2	76.6	80.8	53.3	77.2	50.1	75.9	66.8	71.4
DDS-R	85.4	78.3	83.3	65.6	71.4	83.0	75.5	81.3	59.1	75.7	50.7	80.2	82.7	77.0	81.6	58.2	79.5	50.2	76.5	71.2	73.3
DDS-U	87.2	79.7	84.7	68.3	73.0	83.7	76.7	82.3	60.4	79.4	50.9	81.2	83.6	78.3	82.0	60.1	82.7	51.2	78.0	72.7	74.8

• DDS는 SBD에서 DDS-U가 CASENet 및 DSN 베이스라인보다 높은 평균 F-measure를 달성하는 등 최첨단 성능을 달성한다.
• 정보 변환기와 하단 측 감독의 제거가 결과를 크게 개선하는 것으로 나타났으며, DDS-R 및 DDS-U 변형이 CASENet 및 다른 베이스라인보다 우수하다.
• DDS-R 및 DDS-U는 원래 프로토콜 하에서 SBD 벤치마크의 평균 F-measures가 각각 73.3과 74.8에 도달하여 기존 방법을 능가한다.
• 하단 측 기여가 정보 변환기에 의해 버퍼링될 때 상단의 의미 맵과 융합된 후 더 부드럽고 정밀한 의미 에지가 생성된다.
• 절차 간의 ablation에서 더 간단한 변환기 설계와 잔차 블록이 대부분의 이익을 제공하여 버퍼링 가설의 타당성을 확인한다.
• DDS는 Cityscapes에서도 견고한 이득을 보여 도시 장면 의미 에지 검출 작업에 대한 일반화 가능성을 시사한다.