[논문 리뷰] Dynamic Feature Fusion for Semantic Edge Detection

Yuan Hu, Yunpeng Chen외 2명|arXiv (Cornell University)|2019. 02. 25.

Advanced Neural Network Applications참고 문헌 16인용 수 5

한 줄 요약

이 논문은 입력 콘텐츠에 따라 조건화되는 위치 특화 융합 가중치를 적응적으로 학습함으로써 다중 수준 특징을 유연하게 균형 잡히게 하여 더 선명한 에지 예측을 가능하게 하는 새로운 방법인 동적 특징 융합(Dynamic Feature Fusion, DFF)을 제안한다. 이 방법은 고정된 가중치 융합 및 최신 기술들을 초월하여 Cityscapes에서 80.7% MF (ODS)와 SBD에서 75.4%의 성능을 기록하며 새로운 SOTA 성능을 달성한다.

ABSTRACT

Features from multiple scales can greatly benefit the semantic edge detection task if they are well fused. However, the prevalent semantic edge detection methods apply a fixed weight fusion strategy where images with different semantics are forced to share the same weights, resulting in universal fusion weights for all images and locations regardless of their different semantics or local context. In this work, we propose a novel dynamic feature fusion strategy that assigns different fusion weights for different input images and locations adaptively. This is achieved by a proposed weight learner to infer proper fusion weights over multi-level features for each location of the feature map, conditioned on the specific input. In this way, the heterogeneity in contributions made by different locations of feature maps and input images can be better considered and thus help produce more accurate and sharper edge predictions. We show that our model with the novel dynamic feature fusion is superior to fixed weight fusion and also the naïve location-invariant weight fusion methods, via comprehensive experiments on benchmarks Cityscapes and SBD. In particular, our method outperforms all existing well established methods and achieves new state-of-the-art.

연구 동기 및 목표

• 이미지 및 위치 간의 콘텐츠 및 공간적 변동성을 고려하지 못하는 고정된 가중치 융합의 한계를 해결하기 위해.
• 로컬 이미지 콘텐츠와 공간적 맥락에 따라 적응적으로 다른 융합 가중치를 할당하는 동적 융합 메커니즘을 개발하기 위해.
• 콘텐츠 인식 융합을 통해 저수준 및 고수준 특징을 보다 효과적으로 활용하여 에지 검출 성능을 향상시키기 위해.
• 더 정확하고 선명한 에지 국소화를 가능하게 하기 위해 더 나은 다중 수준 특징 융합을 통해 Cityscapes 및 SBD와 같은 벤치마크 데이터셋에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 융합 이전에 다중 수준 특징 맵을 동일한 크기로 재스케일링하는 새로운 정규화기를 제안하여 각 수준 간 기여도가 균형을 이루도록 보장한다.
• 각 공간 위치에 대해 입력 콘텐츠에 따라 조건화되는 위치 적응형 가중치 학습기 모듈을 설계하여 융합 가중치를 생성한다.
• 활성화 함수 없이 학습 가능한 융합 가중치 모듈을 사용하여 가중치가 1로 합산되어야 한다는 제약 없이도 민첩하고 제약 없는 융합을 가능하게 한다.
• 학습된 공간적으로 변하는 가중치를 적용하여 고수준 의미 특징과 저수준, 카테고리에 관계없는 에지 특징을 동적으로 융합한다.
• 이중 분지 아키텍처를 활용한다: 정규화기를 갖춘 특징 추출기와 동적 융합을 수행하는 적응형 가중치 융합 모듈로 구성된다.
• 융합 가중치에 소프트맥스와 같은 활성화 함수를 적용하지 않아 전체 동적 범위를 유지하고 특징 맵 간 경쟁을 유도하지 않는다.

실험 결과

연구 질문

• RQ1 다중 수준 특징을 사용하고도 고정된 가중치 융합이 최적의 결과를 내지 못하는 이유는 무엇인가?
• RQ2 적응형, 콘텐츠 조건화 융합 가중치는 에지 국소화 정확도를 향상시키고 객체 내 잡음 응답을 줄일 수 있는가?
• RQ3 로컬 이미지 콘텐츠에 기반한 동적 융합 전략은 고정 또는 위치 불변 융합 전략에 비해 성능 및 내구성 면에서 어떻게 비교되는가?
• RQ4 동적 특징 융합은 저수준 특징을 얼마나 효과적으로 활용하여 에지 세부 정보를 향상시키고 노이즈를 억제할 수 있는가?
• RQ5 제안된 방법은 다양한 백본 네트워크와 입력 해상도에 대해 일반화 가능한가?

주요 결과

• 제안된 DFF 모델은 Cityscapes 데이터셋에서 80.7% MF (ODS) 성능을 기록하여 이전의 모든 최신 기술을 초월한다.
• Cityscapes에서 더 엄격한 매칭 허용 오차 0.0035를 적용했을 때 DFF는 SEAL보다 5% 성능이 뛰어나, 더 뛰어난 에지 국소화 정확도를 보여준다.
• SBD 데이터셋에서 DFF는 75.4% MF (ODS) 성능을 기록하며 새로운 최신 기술 성능을 수립한다.
• ResNet101을 ResNet50 대신 사용할 경우 성능이 1.5% 향상되며, 더 깊은 백본에 대해서도 강력한 일반화 성능을 보여준다.
• 제안된 정규화기를 제거하면 성능이 1.5% 감소하여, 다중 수준 특징을 균형 있게 조절하는 데 핵심적인 역할을 한다는 점을 확인한다.
• 융합 가중치에 소프트맥스 활성화 함수를 적용하면 성능이 0.3% 저하되며, 제약 없는 가중치가 동적 융합에 더 효과적임을 입증한다.